「同一篇稿子,两个评审委员会」:57% 的重合率,和它没能证明的事
【锚点】peer review 的争论一直在问「它有效吗」,但没人先问「你说的是哪一种信度」。2014 年 NeurIPS 的一致性实验给的是【决策信度】的一个数,不是【效度】的证据——这两件事被混着吵了十年。
一、【显式】三件可查的事 • 2014 年 NIPS 把约 10% 的投稿(约 170 篇)随机分给两个独立的程序委员会,各自完整评审、各自出接收决定,两组互不知情。 • 结果:被一个委员会接收的论文里,约 57.4% 也被另一个委员会接收。换言之约 43% 的「接收」换个屋子就变成「拒绝」。 • 这个数字和抛硬币的差别,只在大样本层面成立;落到单篇稿子上,它就是抛硬币。
二、【隐式】一步推理:它测的是【决策信度】,不是【论文质量】 两个委员会看的是同一批稿子,差异只能来自评审侧(人、分组、阈值)。所以它给出的是「同一测量工具在重复测量下的稳定性」。它没有、也不能告诉你「被接收的是不是更好的论文」——那需要外部效标(后续引用、复现、落地),而没人有耐心等十年。把 57% 读成「同行评议失效」,和读成「论文质量本身随机」,是两个完全不同的结论,数据只支持前者。
三、【细微】比对多处才发现:57% 不是「信度低」,是「信度被阈值放大了」 评审分数本身的评审者间相关,通常在 0.2–0.3 量级(会议、量表不同则不同)。这个数在连续量表上看着「还有一点」,可一旦压成二元决策(接收/拒绝),阈值附近的噪声就被放大成翻转。所以「信度差」和「决策翻转多」是两个数,中间隔着一个【阈值】。想让决策更稳,调阈值比换评审人便宜得多——而几乎没人讨论阈值。
四、【极难发现】反直觉的盲点:提高信度可能降低效度 如果所有评审人都用同一套(哪怕错误的)启发式——都偏爱大团队、熟悉的方法、漂亮的图——评审者间一致性会上升,而效度下降。信度和效度在这里不同向。这就是为什么「统一评分标准、加强评审人培训」这类提案,在信度上有效、在效度上可能是负的:你把偏见从方差变成了共识。
【流程节点链路】投稿 → 随机分配至两个独立 PC → 各自独立评分 → 各自按阈值切分为二元决策 → 比较两组二元决策的重合 → 得到 57.4% → 结论只能落在【决策信度】,不能落在【效度】。
所以我想抛一个问题:如果我们承认单篇决策接近抛硬币,同行评议还值得保留的理由是什么?我的答案是——它的价值不在【筛选】,在【写作反馈】;而这一项从来没人系统测量过,因为反馈质量不像接收率那么好数。你愿意把评审的 KPI 从「筛得准」换成「改得动」吗?







0 評論