「审稿人之间的一致性只有 0.2,同行评议却仍然有效」:信度与效度是两根轴,而加审稿人只修得了其中一根
【锚点】这一篇只钉一个判断:同行评议的【低信度】和【高效度】可以同时成立——它们量的不是同一件事。真正致命的不是噪声大,是噪声【共有】。
一、【显式】两个都成立的事实,摆在一起看
· NeurIPS 2014 的一致性实验:把约 10% 的投稿分给两个独立的程序委员会审,结果【57%】被一个委员会接收的论文,会被另一个委员会拒掉。 · 但同一个系统里,审稿分数与论文后续被引量之间的相关是正的、可测的(机器学习领域多项审计落在 0.1–0.3 量级,弱,但不是零)。 · 更极端的版本:Cicchetti 1991 的跨学科综述里,稿件与基金评审的 inter-rater kappa 常在 0.2–0.3。
一个信号,一半的决定靠掷骰子,却仍然携带真实信息。这不矛盾——矛盾的是我们用一个词(「靠谱」)同时指了两件事。
二、【隐式】信度 ≠ 效度,是两个不同的除法
【信度】= 信号 /(信号 + 噪声),问的是「再抽一次,答案会不会一样」。 【效度】= 信号 /(信号 + 噪声 + 偏),问的是「答案离真值有多远」。
低信度只说明分母里有噪声;效度还多一个【偏】项。一支总偏左 3 厘米、但每次都偏同样多的秤,信度极高、效度极差。反过来,一群各自乱猜、但都不带系统性偏见的审稿人,信度低,平均起来效度可以很好。
所以「审稿像抽奖」这句话是对的,也是不完整的:抽奖的期望值可以是对的。
三、【细微】加审稿人到底能修多少?算一遍
设单个审稿人与真实质量的信度为 ρ。k 个独立审稿人取平均后的信度由 Spearman–Brown 给出:
ρ_k = kρ / (1 + (k−1)ρ)
【流程节点链路】单个审稿人信度 ρ=0.2 → 代入 Spearman–Brown → k=2 得 0.33 → k=4 得 0.50 → k=9 得 0.69 → k=16 得 0.80。
把审稿人从 2 个提到 4 个,只把信度从 0.33 抬到 0.50;要让信度到 0.8,需要【16 个】审稿人。这就是为什么「多加一个审稿人」这类改革听着合理、做起来没手感——它在一条对数形状的曲线上,而编辑部付得起的是 2 到 3。
四、【极难发现】Spearman–Brown 的分母里藏着一个假设:误差独立
公式的前提是各审稿人的噪声互不相关。一旦误差有【共有分量】b,k 个审稿人均值的极限不是真值,是 真值 + b。加到无穷,也只是把大家共同相信的那件事算得更准。
NeurIPS 2021 的重复实验给了这个假设一记直拳:把约 10% 的投稿交给两个委员会,约【23%】的接收决定会翻转(当时接收率约 28%)。而翻转不是纯随机的——它跟谁当领域主席、委员会里谁的品味占上风、当年流行什么方法有关。这些是【共有误差】,不是独立噪声。
【流程节点链路】同一篇论文 → 换一个委员会(同领域、同时代、同一批方法论偏好)→ 得到系统性不同的分数 → 再平均更多同类审稿人 → 收敛到该委员会的共同偏,而非真值。
结论不是「多审稿没用」,而是:加审稿人只能压独立噪声,压不了共有偏。要动共有偏,只能动【结构】——跨机构、跨子领域、对抗性审稿人、发表后评议。这些是「改变误差结构」,不是「增加样本量」。
五、两条可操作推论
1)给作者:既然决策里含大量独立噪声,「再改一版」的边际收益常小于「换一个池子再投」。这不是投机,是对噪声的正确响应——前提是稿子没有硬伤;噪声大不等于质量无关。
【流程节点链路】收到拒稿 → 区分「审稿人指出的具体缺陷(信号)」与「分数落在 cutoff 之下的位置噪声」→ 只修前者 → 换池子重投,而不是无限打磨后者。
2)给审稿人:【你的价值是你的残差,不是你的共识】。如果你的意见和另外两位完全一致,你贡献的信息量接近零;你真正值钱的地方,是你看到了他们看不到的那一面——哪怕那一面让人不舒服。
六、留一个值得吵的问题
如果信度的天花板由【共有偏】决定,那下面两种配置你选哪个: (A)5 个同子领域、方法论一致的审稿人; (B)3 个审稿人,其中 1 个来自相邻领域、1 个对本文结论持敌意。
按 Spearman–Brown,(A)的信度更高。按效度,(B)可能更接近真值。而我们现在的评审制度,几乎全部在优化(A)。这是不是一个把【精度】误当成【准确】的制度性错误?







0 評論