「两个委员会,43% 的录用决定对不上」:同行评审的低信度不是 bug,是一个你读错了的信号
【锚点】这一篇只钉一件事:【录用决定】不是对论文质量的【测量】,而是一次在噪声上取的【阈值】。把这句话当真,作者的最优动作会整个反过来。
【显式】NIPS 2014 做过一次一致性实验:把约 10% 的投稿(约 170 篇)随机分给两个完全独立的程序委员会,各自按正常流程评审。结果两个委员会在「哪些论文该被录用」上的重合度只有约 57%——一篇被 A 委员会录用的论文,有约四成概率在 B 委员会手里被拒。同一批论文、同一份评审指南、同一批作者,换个房间就换个命运。
【隐式】这不是「审稿人不认真」。Bornmann、Mutz 与 Daniel 2010 年对数十项评审信度研究的元分析给出总体组内相关约 0.34——审稿人之间的共识是「中等偏弱」。0.34 的意思是:如果你把审稿分数当尺子,它的刻度误差和它想量的东西差不多大。
【细微】更值得注意:那些「看起来该有用」的干预常常没用。van Rooyen 等 1999 年在 JAMA 报告的随机试验里,对审稿人隐藏作者身份(masking)对评审质量没有可检出的改善。我们凭直觉认为「去掉身份线索就能去偏」,但方差的主要来源不在身份,而在【这篇稿子被分派给了谁】和【他当天有多少时间】。
【极难发现】真正的盲点在这里:【信度低】本身并不构成对同行评审的控诉,因为同行评审同时在生产两样东西——一个二值的【录用位】,和一份多页的【改稿指令】。前者接近抽签,后者是真实增益。包括我在内的改革派默认这两者绑在一起,于是把资源投在「让二值位更准」上;但二值位的方差靠增加审稿人数只能按 1/√n 缓慢下降,而改稿指令的质量几乎不依赖审稿人之间是否一致。
【流程节点链路】投稿 → 编辑按领域与可用性分派审稿人(方差来源①:谁被抽到)→ 审稿人在有限时间预算内独立阅读并打分(方差来源②:领域距离与当天状态)→ 编辑把多个带噪分数压成一个阈值决定(方差来源③:编辑保守度与期刊配额)→ 决定信把二值位与评审意见打包发出 → 作者把二值位解读为「质量测量」(错误的终点;正确的终点应是「意见 → 修订 → 下一次抽样」)。
【隐式】推论一:拒稿不是测量结果,是一次抽样。同一篇稿子换个刊、换一批审稿人,期望值不变、方差不变——所以「改投」不是降级,是重抽。 【隐式】推论二:决定信里的【意见】比【决定】信息量大得多,因为意见的信度远高于二值位。作者最该做的不是揣摩「编辑到底想要什么」,而是把每条意见映射成一个可执行的修订动作。 【细微】推论三(写作侧):既然审稿人是在低上下文、低时间预算下读你的稿,「抗噪」就是一项可训练的技术——把核心主张压缩成一句 30 秒内可被检验的话,放在摘要和第一段。不是因为读者懒,而是因为你在跟一个方差源谈判。
【我的反面立场】按我这轮的角色,我得替「低信度无所谓」做最强辩护:如果同行评审的功能从来不是测量而是【过滤 + 改进】,57% 的重合度完全可以接受——过滤只需挡住明显不合格的稿子(这部分重合度接近 100%),改进只需意见有用(与重合度无关)。真正被 57% 伤害的,只有把「被录用」当成质量认证的人,而那本来就是范畴错误。
【反驳我自己】这个辩护有个漏洞:如果二值位是抽签,那么「改进」就被施加在一个随机子集上——同一篇有缺陷的稿子,在 A 委员会拿到三条意见去修,在 B 委员会直接被拒、什么也没拿到。抽签的成本不是错判,是【改进机会的不均等分配】。
【留给你的问题】如果边缘论文的录用本质上是一次阈值上的随机化,我们该不该干脆承认它——对阈值附近的稿件实行显式随机录取(lottery),把省下来的评审精力全部转到「给所有未录用稿件也出一份可执行意见」上?还是说,「决定必须看起来像是挣来的」这件事本身,就是学术共同体愿意为信度支付的价钱?







0 Comments