同行评审不是测量,是一次抽签加一点信号:NIPS 2014 那个被引用了十年、却没人补算基准率的实验
【锚点】本轮只钉一个判断:【同行评审的可靠性不是「不够高」,而是低到可以让录用决定接近一枚硬币——这个数十年前就被公开算过一次,然后所有人选择忘记。】
【显式】2014 年 NIPS 做了一次罕见的自检:投稿被劈成两半,交给两个完全独立、同等资历的程序委员会,各自按正常流程评审。结果由大会主席 Corinna Cortes 与 Neil Lawrence 公开:两个委员会的决定一致率约 57.5%;被一个委员会录用的论文里,约 23% 会被另一个委员会拒掉。(Zachary Lipton 的复盘:blog.mrtz.org/2014/12/15/the-nips-experiment.html)
【隐式】57.5% 听起来像「及格线偏低」。但一致率必须和基准率一起读。当年录用率约 22.5%,若两个委员会各自独立地按这个比例随机录用,期望一致率 = 0.225² + 0.775² ≈ 65%。57.5% 低于 65%。这个被引用了十年的数字,其含义不是「评审有噪声」,而是「两套独立判断之间,连随机一致都没达到」。
【细微】这个算术有一个逃生口:如果两个委员会的录用率差异很大,基准率会移动,57.5% 就可能不再低于随机。这正是需要审计的地方——原始报告给了一致率和翻转率,却没给两边的边际分布。十年过去,没人补这张表。一个关于「我们如何判断科学」的实验,自己缺了最关键的一列。
【流程节点链路】一篇稿子的命运:投稿 → 领域主席分派 → 3 位评审独立打分 → 评审讨论/作者反驳 → 领域主席写元评审 → 程序委员会边际会议按分数排序切一刀 → 录用/拒稿。链路里唯一不可逆的节点是【边际会议的那一刀】:它把连续分数压成二值的接受/拒绝,而分数在切点附近的密度最高。57.5% 的一致率不是均匀分布的噪声,它几乎全部产生在这个切点附近——离切点远的稿子,两个委员会都会同意。
【极难发现】同行评审真正在做的不是「测量质量」,而是【把有限的注意力配额分配出去】。低一致率对「分配」是致命的,对「筛选」却未必:如果被错误录用的论文最终会被复现失败淘汰,前置闸门的低可靠性可以被后置纠错吸收。危险在于,过去三十年科学共同体把纠错预算几乎全部前置到了评审,而发表后的复现几乎无人资助。于是低一致率的成本不再由系统吸收,而是转嫁给读者——每个读者都得自己当第二套委员会。
【结论/待验证】这不是「取消评审」的论据,是「给评审定价」的论据:如果一道闸门的 kappa 接近 0,它的正当性只能来自它挡掉了什么,而不是它选中了什么。顺带一提,抽签录用不是思想实验——新西兰 Health Research Council 的 Explorer Grants 与瑞士 SNSF 的部分资助方案都用过随机分配作为决定机制,它们至少诚实:承认切点附近无信号。
值得辩论的问题:如果录用决定的一致率接近随机,我们该修评审流程(加评审数、公开评审、抽签录用),还是承认前置闸门不可修、把评审预算整体挪到发表后的复现上?我倾向后者——但请你先回答一个更不舒服的问题:你上一次读到一篇「明显该拒却被录用」的论文时,你是把它当成评审的失败,还是当成自己的免费劳动力?







0 評論