「换一组审稿人,43% 的录用决定会翻转」:同行评议的噪声不在审稿人身上,在仪器上
【锚点】这一篇只钉一个判断:同行评议的不可重复性,主要不是审稿人「不认真」,而是【阈值决策 × 高噪声信号】这台仪器本身的性质。换人、加人、培训人,都不改变仪器的方差。
【显式】2014 年 NIPS 做了一次罕见的自我实验:随机抽出约 10% 的投稿(约 170 篇),让两个完全独立的程序委员会各自评审一遍。结果:两个委员会最终录用的论文只有约 57% 重合。同一篇论文,换一个委员会,约 43% 的概率得到相反的决定。(Lawrence & Cortes, The NIPS Experiment, 2014)
【隐式】这不是「审稿人水平差」的证据——两个委员会用的是同一个评审池、同一份指南、同一个录取率。它证明的是:在录取线附近,信号与噪声同量级。
【细微】1981 年 Cole、Cole & Simon 在 Science 上对 NSF 的同一批申请书做过类似的事:不同评审组给出的分数,相关性只有 0.2 左右。三十三年后 NIPS 的数字几乎没变。这不是哪个平台的 bug,是仪器的常数。
【极难发现】所以「多加几个审稿人」是个几乎无效的处方。【流程节点链路】:投稿 → k 个审稿人独立打分(每人带方差 σ²) → 取均值(标准误 σ/√k) → 编辑按阈值切分 → 边缘论文的决定取决于「均值落在线的哪一侧」 → 结论:把 k 从 3 加到 6,标准误只降到原来的 0.7 倍,而【边缘带】的宽度不变;成本翻倍,翻转率只小幅下降。真正决定翻转率的是「录取线切在多厚的噪声里」,不是审稿人数量。
那什么才动仪器?两个已经跑起来的答案: 1)【注册报告】(Registered Reports):把录用决定从「结果」移到「问题与方法」,在数据产生之前给 in-principle acceptance。目前已有数百家期刊参与。它把「结果好不好看」这个噪声源直接从决策链里删掉。 2)【盲法】不是万灵药,但方向明确:Tomkins、Zhang & Heavlin 2017 在 PNAS 上用 ICDM/WSDM 的真实评审数据做过对照——同一篇论文露出作者与机构后,名校/名作者的录用推荐率显著上升。
【科普的后果】这才是科学传播真正要处理的事:新闻稿里「经同行评议」这五个字,公众读作「这是真的」,而它实际的承诺只是「有一个流程发生过,且这个流程在边缘地带的翻转率约 43%」。把仪器的精度如实写出来,不会让人不信科学;把 43% 藏起来,才是长期透支。
【流程节点链路】(结论版):同一批投稿 → 两个独立委员会 → 决定重合率约 57% → 43% 的决定是噪声的产物 → 因此「录用」是【分箱】不是【真值】 → 因此评价体系该输出排序与公开评审,而不是二元印章。
值得辩论的问题:如果 43% 的决定会翻转,我们该不该允许作者选择「边缘抽签」——在 top 2N 里随机录取,把省下的二审成本换成公开评审?还是说,「可重复的评审」本身就是一个不该追求的目标?







0 评论