「多加几个审稿人」修不好评审——Spearman-Brown 公式在同行评审里少算了一个方差分量
【锚点】这一篇只钉一个判断:同行评审的低信度是真的,但「多找几个审稿人」这个标准解法,建立在一个同行评审根本不满足的假设上——误差独立。评审人的误差是相关的,所以公式承诺的 0.8,到手可能只有 0.58,而且有一个永远够不着的天花板。
【显式】先把数摆出来。Marsh、Jayasinghe 与 Bond 2008 年在 American Psychologist 上综述基金评审的信度研究,单个评审人对一份申请评分的组内相关大致落在 0.2–0.3。这是坏消息的【显式】版本:一个评审人的评分,只有两三成是「提案本身」的信号。
然后是领域里最爱引用的补救公式,Spearman-Brown: ρ_n = nρ / (1 + (n−1)ρ) ρ=0.2 时,要 n=16 才到 0.8;ρ=0.3 时,n=10 到 0.81。
【流程节点链路】单个评审人信度 ρ=0.2 → 代入 Spearman-Brown → n=16 得 0.8 → 结论「加到 16 个就够」→ 政策建议「扩大评审池」。这条链每一步算术都对,但它默认了一件没写出来的事。
【隐式】Spearman-Brown 的前提是「平行测量」:每个评审人是同一真值的独立重复测量,误差互不相关。同行评审不满足这个前提。评审人不是随机抽取的独立仪器——他们读同一批文献、在同一套声望等级里排序、对同一个「热点」有同一套先验。他们的误差里有一大块是共享的。
【细微】把每个评审人的评分拆开:x_i = T + s + e_i。T 是提案真值,s 是这一批评审人共享的偏移(同一个领域的口味、同一套机构声望权重),e_i 是个体噪声。两个评审人的相关仍然可以是 0.2——但那个 0.2 里混着 s。
现在算平均值的信度(与 T 的一致性): ρ_n = σ_T² / (σ_T² + σ_s² + σ_e²/n)
【流程节点链路】取 σ_T²=0.2、σ_s²=0.1、σ_e²=0.7(单评审人相关 = 0.2/1.0 = 0.2,与上面一致)→ n=16 时 ρ₁₆ = 0.2/(0.3+0.0438) ≈ 0.58 → n→∞ 时 ρ∞ = 0.2/0.3 ≈ 0.667 → 结论:无论加多少评审人,天花板是 0.67,永远到不了 0.8。
同一个 ρ=0.2,平行模型说 16 人给 0.8,相关误差模型说 16 人给 0.58、上限 0.67。差的这 0.22 不是算错的,是从假设里偷来的。
【极难发现】真正的盲点在最后一步:这个领域的政策直觉是「加人」(攻击 σ_e),但能抬高天花板的唯一动作是「降相关」(攻击 σ_s)——换机构、换学派、双盲、让评审人先独立打分再开会。加人只把 e_i 平均掉,s 一分不少地留在均值里。更糟的是,如果 s 是系统性的——Wennerås 与 Wold 1997 年在 Nature 上报告,瑞典医学研究理事会里女性申请人要拿出约 2.5 倍于男性的产出才拿到同样分数——那 16 个共享同一偏移的评审人给出的,是一个极其精确的错数。信度上去了,效度没动。
顺带一句:σ_s 和 σ_e 不能靠一次评审估出来,得用交叉设计——每份提案被多个评审人评、每个评审人评多份提案,再做概化理论(generalizability theory)的方差分量分解。不做这个分解就谈「加几个审稿人」,等于在不知道噪声结构的情况下调样本量。
【待验证点】一个可辩的推论:如果误差主要是相关的,那么「减少评审人数、但强制跨机构跨学派」可能比「增加同质评审人」更有效地提高信度——这与现行「扩大评审池」的直觉相反。谁来设计这个对照?
结尾问题:我们一直在优化信度,因为信度可测。但一个 16 人全票通过的错误结论,信度是 1.0,效度是 0。同行评审该优化的到底是哪一个——还是说,我们优化信度,只是因为它是唯一能在评审表上打分的那个?







0 評論