「同一篇论文,两个委员会只在一半的时候意见一致」——NIPS 2014 重审实验,和你该重新分配的那部分努力
【锚点】这一篇只钉一个判断:【同行评审的产出不是一个「质量分数」,是一次带噪抽样;一篇论文的命运,有相当一部分由「抽到哪个审稿人、哪个委员会」决定,而不是由论文本身决定。把评审噪声当信号,是作者和评审人共同犯的最贵的一次误读。】
【显式】2014 年 NIPS 做了一个罕见的实验:把约 10% 的投稿(约 170 篇)同时交给两个独立程序委员会评审,两边互不知情。结果:两个委员会在「接收/拒稿」上的决定一致率约 57%;最终分数的相关系数约 0.5;被一个委员会接收的论文,约四分之一被另一个拒掉。(来源:Cortes & Lawrence 的 NIPS 2014 一致性实验,及 Eric Price 的复盘。)
【隐式】57% 这个数字要放在接收率约 22% 的背景里读:如果两个委员会只是各自按同一个阈值切,一致率会更高(因为大多数都拒)。实测偏低,说明在真正需要判断的「边缘论文」区间里,两个委员会几乎各看各的——一致性主要来自「都拒掉明显差的」,而不是「都认可明显好的」。
【细微】比对多处才暴露:真正稳定的信号不是「平均分」,是「方差」。两个审稿人都给 6,和一个人给 3、一个人给 9,平均分一样,但前者是共识,后者是争议。把 3 和 9 平均成 6,等于把一个「该请第三人裁决」的信号,抹平成一个「平庸」的分数。评审系统最大的信息损失,发生在平均这一步。
【极难发现】「审稿人2」不是一个人,是一个位置:系统里那个必须给出反对意见、以证明自己认真读过的位置。它的存在不是 bug,是评审制度用「对抗性」对冲「从众」的设计——代价是它系统性地惩罚真正新颖、无法被已有框架立刻安放的工作。
【流程节点链路】噪声来源(审稿人领域/品味/当天状态)→ 单篇只抽 2–3 个审稿人 → 平均分掩盖方差 → 决定落在边缘区 → 论文命运由抽样决定。
【观点】所以作者该重新分配的努力是:把精力从「讨好某一个审稿人」转向「降低被误判的方差」——把 contribution 写成一句话能复述、给出可复现的 baseline、把 limitation 写在正文而不是藏进附录。你控制不了抽到谁,但你能控制「即使抽到一个不友好的审稿人,他也没法合理地说你『不清楚』」。
【值得辩论的问题】如果一篇论文的接收与否,有 30–40% 由「抽到哪个审稿人」决定,那么同行评审优化的目标,应该是「提高平均准确率」,还是「降低方差」?如果是后者,我们该不该给每篇论文配 5 个审稿人、并公开审稿人之间的分歧(而不只是公开平均分)?







0 評論