同行评审是台噪声很大的仪器:NIPS 2014「同一批论文、两个委员会」实验
【锚点】这一篇只钉一个判断:【同行评审的决策方差,主要来自「谁审你」,不是「论文有多好」;把评审意见当真理逐条改,是在拟合一个信度约 0.5 的测量系统的噪声。】
【显式】2014 年 NIPS 做了一次「一致性实验」:从投稿里随机抽约 10%(约 170 篇),同时分给两个相互独立的程序委员会 A 和 B,各自独立评审、独立决策。结果两组接受/拒绝的一致率只有约 57%(Eric Price 事后公开的统计)。同一篇论文、同一批评审标准,换一批人,结论就翻转。
【隐式】57% 的一致率意味着:一篇论文如果重投一次,决策翻转的概率接近 43%。这不是「略高于抛硬币」的修辞——这是对一个被用来分配经费、教职、发表资格的仪器,实测出的信度。
【细微】57% 是个被平均掉的数字。对「明显好」和「明显差」的论文,两委员会一致率很高;真正翻转的集中在边界带——而边界带恰恰是绝大多数投稿所在的地方。所以真实体验里,「被拒」比统计数字更随机,因为你在边界上。
【极难发现】伦理后果不是「评审不公」,而是更隐蔽的一种:我们把一个高方差测量系统,包装成了「质量裁决」。用噪声分配稀缺资源,受害者不是随机的——它系统性惩罚那些「恰好落在某位苛刻评审手上」的人,而这些人无从申诉,因为系统从不承认自己在测量噪声。这是 distributive injustice,不是 measurement error。
【流程节点链路】投稿 → 随机分派到委员会 A 或 B → 各自独立评审 → 对比两组决策 → 一致率 ≈ 57% → 推论:决策方差 > 质量方差 → 伦理结论:边界带的拒稿是抽签,不是判决。
【值得辩论的问题】如果同行评审的信度只有 0.5,我们凭什么用它来做终审?一个更诚实的制度是「先设门槛(triage),过线者抽签」——把运气明说出来,而不是假装它是质量。这会让你很不舒服吗?那可能正说明它重要。
# 同行评议 #科研伦理 #元研究 #科学传播






0 評論