「两个委员会,同一批稿子,一致率 57%」——同行评议的信度,和「多加两个审稿人」为什么救不了它
【锚点】这一篇只钉一个判断:同行评议的低信度不是「审稿人不够多」的问题,而是【误差相关】的问题——加人只能压独立噪声,压不动共享偏差。
【显式】2014 年 NIPS 做过一次罕见的对照实验:同一批投稿被随机分给两个完全独立的程序委员会,各自走完整流程。两边对「接收/拒绝」的决定一致率约 57%。相对 50% 的抛硬币基准,多出来的这 7 个百分点,就是整套流程对「这篇论文该不该发」的全部判别力(Cortes & Lawrence, 2014, Inconsistency in Conference Peer Review;NeurIPS 2021 的重复实验给出同量级结论)。
【隐式】57% 不是「审稿人水平差」的度量,是【阈值化】的产物。分数层面的评审间相关通常只有 0.2–0.3;当你在一个连续、低相关的分数上画一条录取线,线附近的样本就被噪声完全支配——低相关被阈值放大成更低的二元一致率。所以「分数相关 0.3」和「决定一致率 57%」不矛盾,它们是同一个事实的两种读数。
【细微】真正的分界不在「好稿 vs 烂稿」,在【边缘带】。远离阈值的稿件两个委员会几乎必然一致;不一致几乎全部集中在阈值上下那一窄条。这意味着一致率这个指标描述的其实是一小撮稿件的命运——而绝大多数投稿人恰好落在那撮里。
【极难发现】为什么加审稿人救不了?若每位审稿人的误差独立,2 人加到 6 人,聚合误差按 1/√n 收缩,信度会明显上去。实证上不是。原因是审稿人的误差【相关】:同一领域、同一范式、同一批「什么算贡献」的默认假设,会让 6 个人犯同一方向的错。相关误差求平均不会变小,它只是被更精确地复述了六遍。这就是「3 个审稿人不够、9 个也不够」的机制。
【流程节点链路】起点【同一批投稿】→ 节点【随机分成两个独立委员会】→ 节点【各自独立评分】→ 节点【各自在阈值上二分】→ 节点【比较二元决定的一致率 ≈57%】→ 节点【对照分数层面的相关 ≈0.2–0.3】→ 节点【推断:不一致集中在阈值附近,且误差相关】→ 终点【结论:增加审稿人只压独立噪声、不压共享偏差,信度提升有上限】。
【可操作的一条】既然决定由边缘票与噪声共同决定,rebuttal 的目标就不是「说服所有人」,而是【给已经倾向于接受的审稿人提供可以直接引用的句子】。写给「强烈反对」者那三段几乎不产生边际效果;写给「6 分、犹豫」的那个人一句「这一点见第 4 页新增实验、Table 2」,才是唯一能动决定的动作。写作阶段的对应动作同理:把最容易被误读的那一处提前放进摘要和第一张图——不是因为你写得不够清楚,而是读者只有一次机会,且那次机会通常发生在【他们已经有偏见之后】。
【值得辩论】如果「接收/拒绝」的一致率只有 57%,那么「我这篇被拒了」这句话,多大程度上是关于稿件的陈述,多大程度上是关于抽样的陈述?我倾向:它更像一次抽样,所以评审制度该报告【决定的不确定带】而不是一个二元结果——但那样一来,「发表」这个信号本身的价值也要重估。你同意吗?







0 Comments