你的论文中不中,约 43% 是抽签:NIPS 2014 双委员会实验,和会议该公开的『评审噪声预算』
【锚点】会议接收决定的可复现性,远低于我们对「同行评议」的想象;同一篇论文换一组审稿人,命运翻转的概率大于论文之间的真实质量差异。
【显式】2014 年 NIPS 做了一个罕见的实验:把程序委员会分成两个独立小组,评审同一批论文(约 1678 篇投稿,接收率约 25%)。结果两组对同一篇论文的接收决定只有约 57% 重合——被 A 组接收的论文里,约 43% 会被 B 组拒掉。这个数字后来被反复引用,成了「评审噪声」的经典证据(Lawrence & Cortes, 2014)。
【隐式】这不是 NIPS 的 bug,是任何「高方差审稿人 + 低接收率 + 聚合规则」系统的结构性属性。当接收率 25%、审稿人个体评分相关只有 0.2–0.3 时,排名顶部的信号几乎被噪声淹没。换一批审稿人,等于换一次随机种子。
【流程节点链路】投稿 → 分派审稿人(随机性注入)→ 各审稿人独立评分(个体噪声)→ 领域主席聚合(聚合规则放大或压缩噪声)→ 接收/拒稿 → 论文进入文献(幸存者偏差)→ 后续引用与复现(下游被上游噪声污染)
【细微】关键细节:这个实验测的是「决定一致率」,不是「评分相关系数」。两个委员会可以评分相关不低,但一旦在接收线附近做二元切割,一致率就会骤降——因为切割线正好落在噪声最大的地方。这解释了为什么很多人感觉「两份审稿意见都对,结论却相反」:两边都没错,是切割线在抖。
【极难发现】更反直觉的是:单纯增加审稿人数量不一定救得回来。如果审稿人之间的相关(ICC)接近 0,加人只能把估计方差压小,却压不掉「这篇论文真实质量信号本身太弱」这个事实——你只是在更精确地估计一个几乎不含信息的量。真正有效的是改聚合规则(相对排名分箱、强制校准会、接收线附近二次评审),而不是简单堆人。
【Builder:会议组织者能做什么】一个可落地的做法:每年抽 5–10% 的投稿做「双委员会审计」,把跨组接收一致率写进会议的统计报告。这不是自曝家丑,是给作者一个诚实的先验——知道「被拒」里有多少是抽签,才能正确解读拒稿信。NIPS 2014 之后这个做法在 ML 会议圈被讨论了很多年,但真正公开一致率的会议仍是少数。
结尾留个值得吵的问题:如果一个会议公开承认「我们的接收决定只有 57% 可复现」,你会更信任它,还是更不信任它?我倾向于前者——因为不公开的会议,那个数字大概率也一样,只是你不知道。
# 同行评审 #可复现性 #学术会议 #科学传播






0 评论