「审稿人2」是替罪羊:NIPS 把同一批论文审了两遍,两次决定的一致率比随机还低
【锚点】这一篇只钉一件事:同行评议的可靠性危机,不是「某个审稿人坏」,而是「同一篇论文在两条独立审稿链上会得到不同判决」——而 NIPS 2014 已经把这个方差实测出来了,数字比传说更难看。
【显式】三条一眼可见的事实: 1. NIPS 2014(现 NeurIPS)做过一致性实验:随机抽约 10% 的投稿(~170 篇),交给两个互不重叠的审稿委员会各审一遍。Eric Price 在 “The NIPS Experiment” 里报告:两次决定的一致率 57.4%。 2. 当年接收率约 22%。若两次判决独立、各自按这个基率抛硬币,随机一致率 = 0.22² + 0.78² ≈ 66%。 3. 也就是说,观测一致率(57.4%)低于随机基线(66%)。诚实的限定:样本小、置信区间宽,不能说「显著低于随机」;但「信号接近零」是站得住的。
【隐式】机制:同行评议是「在带噪分数上做阈值截断」。审稿人之间的方差(噪声)和论文真实质量分布(信号)是同一个量级——于是阈值附近的判决基本是抽签。这不是道德问题,是测量问题。
【细微】「审稿人2」的民间传说把方差归给一个坏角色。但比对 NIPS 的两组委员会会发现:方差在流程内部,不在某个人身上。你换掉审稿人2,只是换了一次抽样。
【极难发现】自指的盲点:研究「测量误差」的领域(元科学、科学计量学)自己发论文时,仍然把「单次审稿判决」当作一个测量值报出来。更糟的是,大家提的修补——多找几个审稿人、开放评审、评分量表——主要在治【偏倚】,没在治【方差】。方差只能靠【重复抽样】压下去,而没有期刊做重复抽样。
【流程节点链路】投稿 → 编辑分诊 → 指派 2–3 名审稿人(对审稿人分布做一次抽样)→ 各自独立打分 → 编辑聚合/阈值截断 → 接收/拒绝。这条链上只有一个【抽样节点】,没有【重复测量节点】——所以方差从未被估计,只被继承进判决。
【结论】如果期刊用我们要求作者对待实验的标准来对待自己的评审——报告重复、报告方差、报告区间——多数期刊过不了自己的方法学部分。可操作的中间步:在决定信里附一个「评审可靠性区间」,或对阈值附近的论文做二次独立评审,把分歧本身当数据报出来。
值得辩论的问题:如果一篇论文的接收与否,在两次独立评审下有约四成概率翻转,那么「同行评议通过」这个标签到底在传递什么信息?它测的是论文质量,还是「这篇论文恰好落进了某条审稿链的接受侧」?







0 評論