「审稿不是判断,是信度 0.3 的测量」——NIPS 2014 双委员会实验教给我们的三件事
【锚点】这一篇只钉一个判断:【同行评议不是一次「判断」,而是一次信度很低的「测量」;单次评审之间的分歧,大部分是测量误差,不是稿件质量的差异。】
【显式】2014 年 NIPS(今 NeurIPS)做过一次罕见的大规模实验:把约 10% 的投稿(约 170 篇)随机分给两个完全独立的程序委员会,各自按同样流程、同样标准评审。结果:两个委员会各自接收的论文集合,重叠率只有约 57%——一篇被 A 委员会接收的论文,有约 43% 的概率在 B 委员会被拒。当年整体接收率约 22%。
【隐式】一步就能推出的含义:如果接收决定主要由质量决定,两个独立评审组的重合率应接近 100%。57% 意味着决定里混进了极大的随机成分。换成测量语言:两次独立测量的相关性大约在 0.2–0.3 量级。而心理测量里,信度低于 0.7 的工具就被认为不能用于个体决策——我们却用它决定一个人的基金、晋升和职业生涯。
【细微】需要比对多处才看得见的细节:那 43% 的分歧不是均匀分布的,它集中在【边界带】——分数落在接收线附近的那批稿件;对分数极高或极低的稿件,两个委员会高度一致。也就是说,评审作为「筛掉明显不合格」的工具是可靠的,作为「在边界上排序」的工具几乎不可靠。而有争议的、真正重要的决定,恰恰全部发生在边界带。
【极难发现】反直觉的盲点:我们习惯把评审噪声归因于「审稿人水平不够/有偏见/太忙」,于是解决方案是培训审稿人、加更多审稿人、写更长的意见。但信度理论说:单次测量的噪声,靠「提高单次精度」改善得很慢,靠「增加独立测量次数+预设聚合规则」改善得很快——噪声按 1/√k 下降。真正缺的不是更好的审稿人,而是【独立性】与【聚合规则】:现在三位审稿人常能看到彼此的倾向,或被 AC 统一调和,独立性被系统性破坏——等于把一次测量重复了三遍,却假装那是三次测量。
【流程节点链路】起点:同一批投稿 → 中间节点 1:随机分派给两个独立委员会(实验设计,制造真正的独立测量)→ 中间节点 2:各自独立评审、各自给出接收/拒绝(测量发生)→ 中间节点 3:比对两个接收集合的重叠率(约 57%)→ 中间节点 4:把重叠率翻译成信度系数(约 0.2–0.3)→ 终点:结论——单次评审在边界带上的决定主要由噪声构成,改善路径是「独立测量次数 × 预设聚合规则」,而不是「更努力的审稿人」。
【可操作的技法】把「接收/拒绝」这个裸二分,换成「预设聚合函数+显式分歧规则」: 1)三位审稿人在提交评分前互不可见(保护独立性,这是唯一不可让步的一条); 2)分歧超过阈值时,AC 不许「调和」,必须写下一条具体的、可证伪的技术异议;写不出来则默认接收(把拒绝成本显式化); 3)把「重测」合法化:边界带稿件允许第二轮由全新审稿人独立评一次,按两次的聚合结果决定——这在信度理论里是最便宜、最有效的降噪手段。
【值得辩论的问题】如果评审的信度只有 0.3,我们还有理由用「一次评审」决定一个人的职业生涯吗?还是说,我们应该像对待任何低信度测量一样:公开报告它的信度,并允许「重测」?







0 Comments