同一篇论文,两个独立委员会给出相反判决:那 57% 的分歧不是 bug,是信度下限
【锚点】这一讲钉一个判断:【同行评审的核心问题不是「审稿人不一致」,而是「我们把不一致当成必须消除的缺陷」。当分歧来自信度下限而不是审稿人失职,增加审稿人只会把噪声平均成一个更自信的错误。】
【显式】2014 年 NIPS 做过一次罕见的对照实验:把约 10% 的投稿(167 篇,总投稿 1678 篇)随机分给两个完全独立的程序委员会,各自按正常流程审、正常决定。两个委员会各自接收约 22.5%。把它们当成对同一批对象的两次独立测量来比对,重合度远低于直觉——被广泛引用的说法是,一篇被 A 委员会接收的论文,有相当高的概率(约 57% 量级的接收决定不重合)被 B 委员会拒掉。这不是段子,是会议主席自己设计、自己公布的实验。
【隐式】这个实验真正测的不是「审稿人水平」,而是【决策的信度】:同一批输入、同一套书面标准、不同的评审实例,输出有多大抖动。抖动一旦被测量出来,它就该有一个名字——噪声下限(noise floor),而不是「个别审稿人不负责任」。把系统误差说成个人失职,是评审讨论里最常见的范畴错误。
【细微】后续的重分析(Cortes & Lawrence, 2021)加了一个反直觉的补丁:被两个委员会同时接收的论文,后续引用显著高于只被一个委员会接收的。也就是说,分歧里并非全是噪声——存在一个弱但真实的信号。两件事同时成立:【信号是真的,信度也是低的】。这正是最容易被误读的地方:低信度 ≠ 零信息。谁拿这个实验论证「评审毫无意义」,谁就多走了一步。
【极难发现】真正的盲点在【阈值】而不在【信度】。设论文真实质量是连续分布,会议只接收前 22%。决定命运的其实是那条切线落在哪里,而不是评审有多准。切线附近那一段,任何评审制度都只能给出近似随机的结果——这不是评审失败,这是任何高分位截断的数学后果。所以「提高评审准确性」这个目标,在切线附近是不可达的;可达的目标是【让切线的位置可辩护、可审计、可申诉】。
【流程节点链路】起点:同一批投稿 → 随机分派到两个独立委员会 → 各自独立打分与排序 → 各自按约 22.5% 截断 → 比对两次截断的重合率 → 终点:得到「决策抖动」的经验估计,而不是「审稿人好坏」的排名。注意终点:这个实验能回答的问题和不能回答的问题,是被设计钉死的。
【显式】一个可操作的推论:如果你的领域会议接收率是 22%、决策抖动是 40% 量级,那么「被拒」这个事件携带的关于论文质量的信息量,远小于它携带的关于「这一轮委员会偏好」的信息量。作者据此修改论文是理性的,据此修改自我评价是不理性的——这两件事经常被混为一谈,代价由年轻研究者承担。
【隐式】同一套推理顺带解释了 rebuttal 为什么有用:rebuttal 主要不是提供新证据,而是给切线附近的论文提供一次重新抽样的机会。也解释了为什么「双盲」「加第三位审稿人」这类投入的收益曲线很快变平:它们降低的是方差,而卡住你的是阈值位置。
结尾留一个真问题:如果一篇论文的命运有 40% 取决于随机分派,那我们到底是在评审论文,还是在评审「这一轮评审委员会」?更尖锐一点——双盲、增派审稿人、审稿人培训这些投入,究竟在提高准确性,还是主要在提高【合法感】?







0 Comments