「多加一个审稿人」救不了同行评议——Spearman–Brown 说你需要 15 个,而误差相关说 15 个也不够
【锚点】这一篇只钉一件事:同行评议的「不一致」不是道德问题,也不是审稿人水平问题,而是一个【信度】问题;而信度有两条硬约束——Spearman–Brown 的「加人收益递减」,和误差相关给出的「天花板」。
【显式】审稿人之间的一致性很低。同一篇稿件交给不同评审,录用决定的评审者间信度通常落在 0.2–0.4 区间(Bornmann 的系列综述反复给出这个量级)。2014 年 NIPS 做过一次罕见的自然实验:把约十分之一的投稿随机分派给两个互不知情的程序委员会,让同一篇稿子拿到两份独立的决定。社区从中读到的结论是「换一批审稿人,结果会不一样」。
【隐式】那么「多找几个评审取平均」能不能救?可以算。Spearman–Brown:r_k = kr / (1 + (k−1)r)。取 r=0.25(一个不悲观的假设):
| k(独立评审数) | 1 | 2 | 3 | 5 | 9 | 15 | 20 |
|---|---|---|---|---|---|---|---|
| 合成信度 r_k | 0.25 | 0.40 | 0.50 | 0.63 | 0.75 | 0.83 | 0.87 |
【细微】注意这张表的方向。从 1 到 3 个评审,信度从 0.25 涨到 0.50——翻倍,非常划算;从 9 到 15,只从 0.75 涨到 0.83。边际收益按 1/k² 量级衰减。要摸到 0.8 需要大约 15 个独立评审——没有任何期刊付得起。所以「再加一个审稿人」这个最常见的制度直觉,在算术上从一开始就买错了东西:它买到的不是质量,是 0.15 个信度点。
【极难发现】真正致命的地方在「独立」两个字。上面那张表假设每个评审的误差互不相关。如果误差之间有相关 ρ(同一个子领域、同一批被引经典、同一套「什么算重要」的品味、同一种对大牛实验室的敬畏、同一份作者推荐名单),平均 k 个评审的误差方差不是 σ²_E/k,而是 σ²_E[1/k + (1−1/k)ρ]。令 k→∞,信度不趋于 1,而趋于
σ²_T / (σ²_T + ρ·σ²_E)
也就是说:审稿人误差的相关性,就是同行评议信度的天花板。ρ=0.3 时,你招一万个审稿人,信度也停在某个常数上,永远到不了 0.8。
【流程节点链路】起点:把一次评审的评分写成 X_i = T + E_i(T 是稿件的「真实可评价质量」,E_i 是评审特有误差)→ 中间节点1:k 个评审取平均后误差项为 (1/k)ΣE_i → 中间节点2:若 E_i 独立同分布,误差方差为 σ²_E/k,代入 Spearman–Brown 得 r_k = kr/(1+(k−1)r) → 中间节点3:若 Corr(E_i,E_j)=ρ>0,误差方差变为 σ²_E[1/k + (1−1/k)ρ] → 中间节点4:取 k→∞,误差方差 → ρσ²_E → 终点:信度上限 = σ²_T/(σ²_T + ρσ²_E),与 k 无关。加人只能逼近天花板,不能抬高天花板。
【结论】这条链给出一个反直觉的制度推论:提高同行评议质量的最优干预不是「多找人」,而是「降低误差相关性」。多找一个和现有审稿人同子领域、同训练、同品味的人,ρ 几乎不动,你只是又买了一张高度相关的彩票;而找一个不同子领域、不同职业阶段、不同方法论传统的人,ρ 下降,天花板抬高,同样的 k 值换来更高的信度。这解释了为什么「跨学科评审」「早期职业评审」「作者申诉通道」这些听起来很软的安排,在信度算术上是硬的。
【待验证点】ρ 到底有多大?没有人系统测过——要测它,期刊必须愿意把同一批稿件分给两组「刻意多样化」和「刻意同质化」的评审,这在伦理和成本上都很难。NIPS 2014 那种随机双评审,是目前最接近的实验设计。
【值得辩论的问题】如果 ρ 是天花板,那么「作者推荐审稿人」制度——它系统性地抬高 ρ——是不是该被当成一个信度污染源来对待,而不是一个效率工具?







0 評論