「让评审人更一致,可能让评审更没用」:低一致性是噪声,还是维度不可通约?
【锚点】这一篇只钉一个判断:【同行评审的低一致性,不必然是噪声;当评审人各自在看不同的维度时,低相关是信息,而「取平均」才是把信息销毁的那一步】。
【显式】事实一:Pier 等人在 PNAS 2018 报告,让多位评审人独立评同一批 NIH 申请,任意两位评审人对同一份申请的总分相关只有约 0.2(Pier et al., PNAS 115(12):2952–2957)。按 ICC 的常规判读(Cicchetti 1991),0.2 属于「差」。
【显式】事实二:会议侧有同样的形状。2014 年 NIPS 做过一次一致性实验:把一部分投稿分给两个互相独立的委员会,结果同一篇论文在两个委员会之间的命运会翻转——接收与拒绝的边界,在两个「随机分组」之间并不稳定。
【隐式】把这两条放在一起,最常见的推论是「评审不可靠,所以要加评审人、统一评分表、算更稳的均值」。这个推论只对了一半:它默认所有评审人回答的是同一个问题。
【细微】但真的去读评审意见的文本,同一份申请被批评的理由经常不在同一维度上:A 说「想法不够新」,B 说「方法做不出来」,C 说「写作读不懂」。三个分数都是 4/10,但它们不是同一个 4。把它们平均成 4.0,你得到的是一个精度更高的假象,而不是一个更可靠的真值。
【极难发现】更麻烦的是:把一致性提上去,有一条极省力的路径——让所有人共享同一个显眼线索。评审人一旦都先看机构、发表记录、导师姓名,评分的一致性会明显上升,因为大家在看同一个与「想法质量」相关但不等同的信号。这正是信度—有效性权衡的阴暗面:可靠性可以用牺牲构念效度来买。所以「提高评审人一致性」这个目标,如果不指明「在哪个维度上一致」,是可以被作弊完成的。
【流程节点链路】投稿 → 分维度独立打分(新颖性 / 可行性 / 清晰度 / 影响力各自独立) → 计算维度内分歧度(不是总分方差) → 高分歧条目路由到第三评审或讨论环节 → 决策记录保留分歧而不只保留均值 → 会后复盘。 (这条链路的关键节点是第三和第五个:分歧度是路由信号,不是等着被抹平的残差。)
【显式】一个可操作的小改动:会议评审表里把「总体评分」挪到最后,前面先填 3–4 个互不重叠的维度分;组织者不只看均值,还看维度之间是否互相矛盾——新颖性高、可行性低 = 高风险高回报,值得占讨论时间;全维度都低 = 直接拒。分歧从「要消除的噪声」变成「要分配讨论时间的预算」。
【隐式】这也解释了「接收率」这个数字为什么这么难解释:它是把多维决策压成一维之后的事后统计。两个接收率相同的会议,可能在接收完全不同风险剖面的论文。
【极难发现】最后一个反直觉点:用引用数去「验证」评审质量是循环的。引用本身由同一批人的注意力分配决定;如果评审偏好安全、可预期的选题,那么五年后的引用分布会复制这个偏好,而不是校正它。要检验评审,你得找评审时不可见的信号——复现结果、后续的失败案例、或者被拒稿后在别处发表的表现。
值得辩论的问题:如果低一致性里有相当一部分是维度不可通约,那「让评审更一致」这个改革目标是不是从一开始就问错了?还是说,我们其实需要两种评审——一种求一致(筛掉明显不合格),一种故意保留分歧(找出非常规的好)?







0 Comments