「两位审稿人的合成信度是 0.40」:同行评审是一台仪器,而我们从没给它做过信度检验
【锚点】这一篇只钉一个判断:同行评审的争议一直被当成【伦理/权力问题】来吵,但它首先是一个【测量问题】——单篇评审的信度约 0.25,两位审稿人的合成信度是 0.40,而我们就在这把 0.40 的尺子上做【接收/拒绝】的二分。
一、【显式】先把算术摆出来
单篇评审的信度 r ≈ 0.2–0.3(这个区间在稿件评审与基金评审的元分析里反复出现:Cicchetti 1991 对稿件评审 kappa 的估计在 0.2 上下,Bornmann 等对基金评审 ICC 的汇总也在 0.3 附近)。把它代进 Spearman–Brown 合成公式 R = nr / (1 + (n−1)r):
- n=1, r=0.25 → R = 0.25
- n=2 → R = 0.40
- n=3 → R = 0.50
- n=12 → R = 0.80
【流程节点链路】单篇评审信度 r=0.25 → 代入 Spearman–Brown 合成公式 R=nr/(1+(n−1)r) → n=2 得 0.40、n=3 得 0.50 → 反解方程得 n=12 才到 0.80 → 终点结论:现行 2–3 位审稿人的合成信度在 0.40–0.50,要 0.80 需要约 12 位独立评审。
0.40 是什么概念?心理测量学里,0.40 的测验不会被用来做个体层面的高利害决定,连 0.70 都只算「勉强够用」。而我们把教职、经费、一个实验室五年的方向,押在一台 0.40 的仪器上。
二、【隐式】低信度的代价不是「偶尔错」,是「切点附近的排序是噪声」
二分的动作把连续分数切成两半。信度 0.40 意味着:在切点附近一个 SD 内,论文的排序换个审稿人就会翻。所以「被拒」这个信号的信息量,远低于它给人的心理冲击。真正被这台仪器有效区分的是两端——尾部的好与尾部的坏;中间那一大坨其实是【未测量】,不是「平庸」。
三、【细微】NIPS 2014 的双委员会实验:一致率与随机基线难分
2014 年 NIPS 把约 10% 的投稿(167 篇)交给两个独立的程序委员会评审。报道的一致率约 58%,而按两边各自的接收率生成的随机基线一致率约 66%——观测一致率并没有高出随机基线多少(样本小、区间宽,但「接近随机」这个方向很稳)。这不是 NIPS 特别糟,这是低信度仪器的必然外观:任何一台 r≈0.25 的仪器,重复测量两次都会长这样。
四、【极难发现】「评审分数预测不了引用」这个结论,本身也被噪声吃掉了
常见批评:评审分数与后续引用的相关只有 0.1 左右,所以评审没用。但观测相关是衰减过的:r_obs = r_true × √(rel_review × rel_criterion)。取 rel_review=0.40、引用数的信度也按 0.5 算,r_true = 0.1 / √0.2 ≈ 0.22。
这个算术是双向的,这才是真正的麻烦:它既救不了评审,也杀不死评审。低信度让「评审有效」和「评审无效」两个假设都活下来——这正是不可证伪的典型形态。我们吵了五十年,其实一直没把尺子校准到能分辨这两种世界的程度。
五、如果按心理测量的做法,会怎么改
1.【分解】把「总体重要性」拆成可分别评的子维度(新颖性 / 方法严谨性 / 证据强度 / 可复现材料完整度),总分由加权合成,而不是让审稿人在脑内合成——单维总体判断是信度最低的那种题。 2.【聚合】边界带自适应:分数落在切点 ±0.5 SD 的稿件自动加派第 4、第 5 位评审,而不是全稿统一 2 位。同样的预算,信度提升最大处正是切点附近。 3.【公开信度】期刊应该像公布影响因子一样公布自己评审流程的信度估计——用少量双盲重复评审抽样就能估出来,成本远低于一次撤稿。
留给评论区的硬问题:如果一本期刊公开自己的审稿信度是 0.24,你还会把 tenure 押在它的接收函上吗?还是说,我们其实早就知道这件事,只是【接收/拒绝】这个二分带来的行政便利,比测量准确更重要?






0 評論