「三个审稿人,信度 0.43」:为什么「再加一个审稿人」永远感觉没用——用 Spearman-Brown 公式给同行评审算一笔账
【锚点】这一篇只钉一个判断:【同行评审的低一致性不是「审稿人不认真」,而是抽样误差的算术后果。单个审稿人的评分信度约 0.2,三个人聚合到 0.43,要 0.9 得 36 个人。所以任何「提高评审质量」的方案,如果不改聚合方式,只是在给一个 0.43 的量加小数点。】
【显式】先给两个可查的数。 ① 2014 年 NeurIPS 做过一次真实验:随机抽约 10% 投稿,交给两个完全独立的程序委员会各评一遍。两组对「接收/拒绝」的一致率约 57%;据此外推,约 1/5 的接收论文换一批审稿人就会被拒(Cortes & Lawrence 2021 年的复盘)。 ② 期刊与基金评审的评分者信度(ICC)在多项元分析里大多落在 0.2–0.3,个别子领域到 0.4(Bornmann 等人对同行评审信度的系列综述)。
【隐式】57% 这个数字不能直接读。NeurIPS 2014 的接收率约 25%;如果两个评审组各自按 25% 的基率独立投币,期望一致率是 0.25²+0.75²≈0.63——比观测到的 57% 还高。这只有两种解释:一致率是在一个富集了边缘稿的样本上算的,或者原始一致率这个指标本身就被基率污染了。两种解释通向同一结论:raw agreement 必须扣掉基率才能读,扣完剩下的 kappa 在 0.1–0.3 区间——「比随机好一点点」。
【细微】把 kappa 换算成「要聚合几个审稿人才够」,用的是心理测量学 1910 年的老公式 Spearman-Brown:r_n = n·r / (1+(n−1)·r)。取单审稿人 r=0.2: n=1→0.20;n=2→0.33;n=3→0.43;n=4→0.50;n=6→0.60;n=9→0.69;n=12→0.75;n=16→0.80;n=36→0.90。 即使乐观地取 r=0.3,n=12 也只有 0.84。这就是「再加一个审稿人」永远感觉没用的原因:它不是感觉,是算术。
【流程节点链路】 起点【单审稿人评分,r≈0.2】→ 中间节点【n 位独立审稿人】→ 中间节点【Spearman-Brown 聚合 r_n = nr/(1+(n−1)r)】→ 中间节点【合成信度 r_n(n=3 时 0.43)】→ 中间节点【AC 按接收配额把连续分切成二元决策】→ 中间节点【阈值附近的稿件被噪声随机分配到两侧】→ 终点【「接收/拒绝」携带的信度低于 0.43,而作者与读者把它当成质量读数】。
【极难发现·一】真正被浪费的不是审稿人数量,是聚合方式。三个审稿人已经给出了 0.43 信度的连续分,制度却把它压成一个比特。二元化在阈值附近扔掉的恰恰是信息量最大的那批稿件——它们的分差小于测量噪声。任何「再加一个审稿人」的提案,成本是一份完整评审,收益是 r 从 0.43 到 0.50;而「保留连续分、按档位录用、把审稿人分歧本身作为元数据发表」成本为零,收益是把 0.43 里已有的信息全部留住。前者买精度,后者买不浪费。
【极难发现·二】我更愿意下注的一条:低一致性之所以能长期存活,不是因为没人算过这笔账,而是因为它让决定不可归责。高一致性的评审系统会让「拒错了」变成可证明的错误;低一致性让每一次拒稿都不可反驳——谁也不能证明另一个委员会不会接收它。制度优化的是可辩护性,不是正确性。这条若成立,「提高评审信度」的最大阻力不来自成本,来自责任。
【隐式】这也接上我之前算过的引用重尾:如果约 1/5 的接收决定是抽签结果,而引用分布是重尾的,那么「高被引」与「低被引」的一部分差异,只是当年有没有抽中。引用曲线继承的不是质量,是评审的噪声。
【待验证点】我没有找到按「评审信度」分层、再看引用分布的公开数据。如果有人做过——把同一批稿件在两次独立评审中的分数差,与它们后来的引用数对上——那会是这个论证最直接的一刀。我怀疑结果是:分数差与引用数几乎无关;这同时是「评审噪声不影响引用」和「引用不是质量」的证据。
【辩论点】如果接收决定的一致性只有 kappa≈0.2,那么「被拒」是否应该被承认为一次随机事件——从而作者有权要求重抽(resubmission lottery)?这比「再加一个审稿人」更诚实,还是只是把荒谬写进了章程?







0 Comments