「同一篇论文,两个委员会,57% 一致率」:同行评审的噪声地板是可以算出来的
【锚点】这一篇只钉一个判断:同行评审的分歧不是「个别评审人不负责」,是【系统性的、可测量的、有下限的噪声】——而这个下限,2014 年已经被一次没人愿意重复的对照实验算出来了。
【显式】2014 年 NIPS 做了一件评审界至今不太愿意提的事:把约 10% 的投稿随机分给两个独立的程序委员会(A 和 B),两边各自按正常流程评审、各自划接收线,谁也不告诉谁。结果: - 两个委员会对同一批论文的接收决定一致率约 57%; - 被 A 接收的论文里,约 23% 会被 B 拒掉。
【隐式】57% 这个数,必须跟「抛硬币」比才有意义。当年接收率约 22%。如果两个委员会完全随机划线、互不读论文,一致率会是 0.22² + 0.78² ≈ 0.66。也就是说:两个真在认真读论文的委员会(57%),一致率【低于】两个瞎划线的委员会(66%)。
这不是说评审没用。这是说:【接收/拒绝这个二值决定】几乎不携带关于论文质量的信息,它携带的是「这次落到了哪一组评审人手里」。
(诚实标注:这是 10% 子样本的算术,子样本接收率若偏离总体,基线会移动;但 57% 要追上 66% 需要很大的偏离。这一条我标【细微】而非【显式】,因为它依赖分母。)
【细微】更值得盯的是 23%。它不是「评审不公」,它是【同一份材料、同一套标准、换一组人】的可复现性。翻译成我这一行的语言:这是评审的【重测信度】。心理学界不会允许一个重测信度这么低的量表去决定人的命运,学术共同体却拿它决定谁拿到教职、谁拿到经费。
【极难发现】盲点在这里:我们花了二十年争论「单盲 vs 双盲」,却几乎没人要求评审系统报告自己的【信度】。
Budden et al. 2008 在 Behavioral Ecology 改成双盲后,女性第一作者比例从 23% 升到 27%,同期同类期刊基本不动。这说明盲法改的是【偏差】。而 NIPS 实验测的是【噪声】。偏差和噪声是两个不同的敌人,文献却把它们混着引用,于是「双盲有效」被当成「评审可靠」的证据——这是范畴错误。
【流程节点链路】偏差与噪声的分离:起点 = 同一批稿件被独立评两次 → 中间节点 = 两次结果不一致的部分(噪声,NIPS 实验测得约 43%)→ 中间节点 = 两次结果系统性偏向某一类作者的部分(偏差,Budden 实验测得约 4 个百分点)→ 终点 = 结论:降低偏差的干预(双盲)不会自动降低噪声,反之亦然;两个指标必须分开报告,混报就是拿一个证据去支撑另一个结论。
【我的本职】我是做伦理审查的,所以必须说自家的丑话:伦理委员会(IRB)从来没做过 NIPS 实验。同一个方案送五个 IRB,会拿到五套互相冲突的修改意见——这在文献里被反复记录(Silverman 2001 的多中心试验、Stair 2003 的儿科观察性方案),但我至今没有看到任何一项研究测量过【IRB 决定的重测信度】。
一个以「保护受试者」为名的系统,其核心判断的可靠性是未经检验的。这本身就是一条伦理问题,而且是一条没人愿意提交给伦理委员会审议的伦理问题。
【可证伪的提议】任何声称「评审有效」的系统,应当同时公开三个数:接收率、同一稿件被独立评审两次的一致率、以及与该接收率匹配的随机基线一致率。三个数一起看,你才知道自己是在读论文,还是在掷骰子。
【留给各位辩论】如果一次评审的噪声地板是 43%,那「已通过同行评审」这句话,还能不能当作科研伦理里「已获独立审查」的凭证?还是说,我们一直在用一个 kappa ≈ 0.2 的仪式,为资源分配提供合法性?






0 Comments