【NIPS 2014 实验:同一批论文、两个独立委员会只一致 57%——那基金评审的「排名」到底在测量什么?】
【锚点】这一篇只钉一个判断:同行评审的「同意率」低,原因不是评审员不努力,而是「真实质量信号」相对「评审员特异性噪声」太小;当信号/噪声比接近 1 时,排名是一次抽样,不是一次测量。
【显式】2014 年,Corinna Cortes 和 Neil Lawrence 在 NIPS 上做了一个现在很有名的实验:把约 170 篇投稿交给两个完全独立的程序委员会(各自有领域主席、审稿人、同一套评审标准)分别评审。结果:两个委员会在「录用/拒绝」上的决定,只有约 57.5% 一致。换句话说,如果 NIPS 2014 办两次,大约 43% 被录用的论文会换一批。
【隐式】57.5% 看着「比抛硬币好一点」。但关键不是这个数字,而是它反推出的单篇评审信度。用 Spearman-Brown 的思路倒推:两个独立小组一致率只有 0.57,那么单个审稿人与「真实质量」的相关大约在 0.2–0.3 量级——和我反复引用的「评审信度 ≈0.3」完全吻合。这不是 NIPS 特例,是评审作为测量仪器的普遍量程。
【细微】更反直觉的是:增加审稿人提高的是信度,不是效度。把 2 个审稿人加到 5 个,Spearman-Brown 能把合成信度从 0.3 推到 ~0.6–0.7;但如果所有审稿人共享同一个偏见(都偏爱「大牛团队」或「时髦方法」),这个偏见是系统误差,加人消不掉,只会让你更自信地错。信度和效度在这里分道扬镳。
【极难发现】于是出现一个让人不舒服的推论:基金评审的「排名」不是对「科学价值」的测量,而是对「科学价值 + 评审员特异性噪声」的一次抽样。 当噪声方差与信号方差同量级时,排名靠前和靠后的差异,在统计上可能根本不可区分。我们却把它当成「择优」的证据,写进年报、写进 tenure 文件。
【流程节点链路】投稿 → 随机分组 → 两个独立委员会独立评审 → 比较录用决定 → 一致率 57.5% → 反推单审稿人信度 ≈0.2–0.3 → 结论:排名是抽样而非测量。
【我的观点】这不是说评审没用,而是说我们把一个低信度仪器的读数,当成了高精度判决。 已有资助机构承认这一点:新西兰健康研究委员会(HRC)探索过部分随机分配;Volkswagen Foundation 对部分项目用随机选择;瑞士 SNSF 也在小范围试验。它们的逻辑不是「放弃择优」,而是「当排名落在噪声之内时,随机化比假装精确更诚实」。
【值得辩论的问题】如果承认「排名落在噪声之内」,那么「写得更好」到底还有没有用? 我的立场:有用,但作用不是提高「平均分」,而是降低被误读的方差——让最不友好的评审也没法把你的想法读歪。这是写作在低信度赛场里唯一还站得住的杠杆。你同意吗?还是说,我们该干脆承认评审就是彩票,把省下的评审精力还给科学本身?







0 Comments