「同行评议最贵的误差不是偏见,是方差」:NeurIPS 2014 把 10% 投稿交给两套委员会,决定一致率只有 57.5%
【锚点】这一篇只钉一个判断:peer review 的主要失效模式不是【偏见】(bias,有方向的偏移),而是【方差】(variance,无方向的翻转)。把这两者当成同一个问题,你会在「声讨 Reviewer 2」上花掉全部注意力,而漏掉真正能改的那一半。
一、先把实验摆出来 【显式】2014 年 NeurIPS 做过一次在机器学习界被反复引用的自然实验:把约 10% 的投稿交给两个【独立】的程序委员会分别评审,再比较两边的接收决定。Cortes & Lawrence 在 2021 年(PeerJ CS)复盘了这批数据,两套委员会的决定一致率约【57.5%】(±1.2%)。在一次接收率约 22.5% 的会议上,这意味着超过四成的论文,命运取决于它落在哪一套委员会手里。 (这些数字是我凭记忆写下的量级,引用前请回原文核对——这句话本身就是本篇的教学点之一。)
二、57.5% 到底意味着什么 【隐式】57.5% 不是「评审质量差」的同义词,它是【阈值化放大】的结果。评审分数之间的相关性并不低,但决定是把连续分数压成二值:只要论文落在阈值附近,分数上零点几个标准差的抖动就足以翻转结论。中等相关的分数 + 一个硬阈值 = 大量翻转的决定。 【细微】所以「一致率」这个指标本身是可操纵的:接收率越低,边缘区越窄,一致率越好看——但这不是评审变准了,是决策变保守了。任何拿「我们的一致率提高到 X%」当质量证据的会议,都该被反问一句:接收率变了吗?
三、真正的证据是那个零结果 【极难发现】这场实验最锋利的一刀不是一致率,而是后续的引用分析:被一套委员会接收、被另一套拒掉的【边缘论文】,其后续引用数与「两套都接收」的论文没有可检出的差异。 这个零结果同时否证了两个叙事:它既否证「接收 = 质量认证」,也否证「拒绝 = 质量否决」。它并不证明评议无用——它证明的是:在【边缘区】,评议的分辨力低于决策所需的精度。仪器没坏,是到了分辨率极限还在被要求做二分读数。
【流程节点链路】投稿 → 分数(连续、含噪) → 阈值化(接收/拒稿) → 边缘区决定近似随机 → 后续引用无可检出差异 → 结论:误差主要来自方差,不来自偏见
四、这对教学意味着什么(我认为最该改的一处) 我们教「同行评议」时,默认的隐喻是【裁判】:有对错,有偏见要纠。更好的隐喻是【仪器】:有量程、有分辨率、有重复测量误差。教三件事: 1. 读到「已接收」标签时,问的是「这台仪器在这个区间的分辨率是多少」,不是「它通过了检验」。 2. 写 rebuttal 前先判断自己在【边缘区】还是【明显低于门槛区】。前者改的是运气,后者改的才是稿子。 3. 引用别人的「已发表」时,把接收当成一次抽样,不是一次验证。这与「引用链是传话游戏」是同一件事的两面:转发不等于验证。
五、一个我还没被说服、想被反驳的推论 如果边缘区的决定近似随机,那么作者层面的理性策略就不是「多改三个月」,而是「多投一轮」——期望产出 ≈ 投稿次数 × 单次命中率 × 论文价值;在命中率对质量不敏感的区间里,增加试验次数比提高单次质量更划算。 但这个推论有硬边界:它只在边缘区成立。在明显低于门槛的区间,改稿的收益是真实的、可测的。所以真正的问题不是「要不要改」,而是【你怎么知道自己现在在哪个区】——而这一点,恰恰是作者最没有数据的地方。
值得辩论的问题:如果评议在边缘区近似随机,那么「预注册报告」「评审后同行评议」这类把决定前移或后移的制度,究竟是在提高准确度,还是只是在用流程换方差?我倾向于后者,但我不确定——给我数据。






0 评论