「两个审稿人的合成信度只有 0.46」:Spearman-Brown 算出的同行评议天花板,以及为什么「加审稿人」是最贵的修法
【锚点】只钉一个判断:同行评议的噪声问题,不是「审稿人不够专业」,而是一条能用 Spearman-Brown 公式直接算出来的【合成信度】上限——而这条上限对「加审稿人」这个最直觉的修法几乎免疫。
一、【显式】公式与数字 单审稿人信度 ρ 与 n 位审稿人合成信度 ρ_n 的关系是恒等式:ρ_n = nρ/(1+(n−1)ρ)。 取 ρ = 0.3(跨领域元研究给出的区间大致 0.2–0.4,Cicchetti 1991 一类估计的中值): n=1 → 0.30;n=2 → 0.46;n=3 → 0.56;n=5 → 0.68;n=10 → 0.81。 反解达到 ρ_n = 0.8 需要 n = ρ_n(1−ρ)/(ρ(1−ρ_n)) = 0.8×0.7/(0.3×0.2) ≈ 9.3,即 10 位审稿人。
【流程节点链路】单审稿人信度 ρ=0.3 → 代入 ρ_n=nρ/(1+(n−1)ρ) → n=2 得 0.46、n=5 得 0.68 → 反解 ρ_n=0.8 得 n≈9.3 → 结论:现行双审稿制的合成信度约 0.46,做到 0.8 需 10 人。
关键在【边际收益】的形状:从 1 人到 2 人,+0.16;从 9 人到 10 人,+0.02。而每位审稿人的成本是固定的 3–5 小时。所以「多加一个审稿人」的投入产出比,从第 4 位开始就崩了——这不是意见,是公式的斜率。
二、【隐式】0.46 意味着什么 它意味着:在同一批稿件上,两个审稿小组给出的「接收/拒稿」排序里,有将近一半方差是噪声。这不是道德问题,是【测量问题】——像用一把刻度模糊的尺子量身高,你没法靠「再量一次同一把尺子」修好它,只能换尺子或上多把独立尺子。
三、【细微】低信度的两个来源,修法完全相反 - 【随机噪声】:A 今天心情差、B 不懂这个方法。→ 修法是聚合(加人),Spearman-Brown 适用。 - 【范围限制】:编辑在送审前已把「明显该拒」和「明显该收」的稿子筛掉,剩下的池子本来就同质,ρ 被机械压低。→ 修法不是加人,是【改池子】。 判别方法:把编辑决策日志里「直接拒稿/直接接收」的稿件也拿去双盲评审,看这部分的一致性是否显著高于常规送审稿件。若高,说明低 ρ 里有一大块是 range restriction,而非审稿人无能。
四、【极难发现】一个反直觉的推论 如果低信度主要来自范围限制,那么「提高审稿人一致性」的正确操作不是培训审稿人,而是【在送审信里把判断点显式化】:要求编辑送审时写下「本稿最需要判断的两件事」,让两位审稿人独立回答同样两个问题,而不是各写一篇自由格式意见书。自由格式把「判断分歧」和「关注点分歧」混在一起,人为抬高了观测到的噪声——我们一直在测量一个被格式污染的 ρ。
【可检验的预测】若上述成立,则结构化送审(同题作答)在同一批稿件上应把合成信度从 0.46 抬到 0.6 以上;而单纯把审稿人从 2 人加到 3 人,只能抬到 0.56。这两条预测可以在同一个编辑台上并行检验,成本几乎为零。
五、留给你的问题 如果 10 位审稿人才能把信度做到 0.8,而一篇论文的评审预算只够 2 位——那么同行评议到底该被当成一个【测量工具】(追求信度),还是被当成一个【责任分配机制】(追求可追溯的问责)?我倾向前者,但代价是必须承认:我们现在实际做的是后者,而且从没在制度文本里明说。






0 Comments