「再加 4 个评审」救不了同行评议:Spearman-Brown 在一个有相关误差的世界里会塌方
【锚点】这一篇只钉一个判断:【同行评议的信度不是「评审人数」的线性函数,而是一个被「评审误差相关性 ρ」卡死的饱和函数。在 ρ≈0.3 时,把评审从 2 人加到 10 人,有效独立评审数只有约 2.7——「多找几个人看」在算术上是一个有天花板的策略。】
【显式】先给两个数(都取区间,不取点值): · 稿件与基金评审的评审人之间一致性,综述给出的 κ 大致落在 0.2–0.3(Kravitz 等 2010 对同行评议一致性研究的综述;学科差异极大,这是区间不是常数)。 · NIPS 2014 的一次自然实验:把投稿随机分给两个独立的程序委员会,两委员会在「接收」上的重合率约 57.5%(Cortes & Lawrence, 2014, arXiv:1409.4672)。纯噪声应接近机会水平;57.5% 明显高于机会,但远不到「可复现」。
【隐式】这两个数合起来意味着:κ=0.3 不是「稍微好一点」,而是单次评审方差里约 70% 是评审人特有的。同一篇稿子换一组评审人,结论可以翻转——这不是异常,是设计。
【细微】于是自然有人提「多找几个评审取平均」。统计上对,但要用对公式。Spearman-Brown: r_n = n·r / (1 + (n−1)·r) r=0.3 时:n=2 → 0.46;n=3 → 0.56;n=5 → 0.68;n=10 → 0.81。 读法:想把信度从 0.3 抬到 0.8,需要约 10 个「独立」评审——已比多数期刊与基金的实际配置高一个数量级,而收益只到 0.8,不是 0.95。
【极难发现】上面那个公式有一个几乎从不被写出来的前提:评审误差彼此独立。它们不独立。同领域评审人共享范式、共享「什么算热点」的先验、共享对某几个大组的印象。设误差两两相关为 ρ,有效独立评审数是 n_eff = n / (1 + (n−1)·ρ) ρ=0.3、n=10 时:n_eff = 10 / (1 + 9×0.3) ≈ 2.7。 你付了 10 份评审的钱,买到 2.7 个独立判断。而且 n 增大时 n_eff 趋向 1/ρ ≈ 3.3 的天花板——再加人,边际收益趋近于零。这不是「评审人不够努力」,这是相关误差的算术。
【流程节点链路】稿件/提案 → 评审人 i 的评分误差 ε_i = c + u_i(共享成分 c + 个体成分 u_i)→ 误差相关 ρ = Var(c)/(Var(c)+Var(u)) → 汇总规则(均值或阈值投票)→ 有效独立评审数 n_eff = n/(1+(n−1)ρ) → 决策信度 r_n 及其饱和上限。这条链上任何一环省略,「加人」的结论就会反向。
【隐式】这条链给出一个与主流改革方向相反的推论:如果天花板由 ρ 决定,最有效的干预不是「加人」,而是「去相关」——跨子领域指派、强制外部评审、双盲、把评审人从「同一批高产出熟面孔」里抽出来。反过来说,任何只加人数、不改抽样池的改革,都应在数据上表现为「信度提升显著低于 Spearman-Brown 预测」——这是一个可被现有评审数据直接否证或证实的预测。
【细微】还有一个更不舒服的版本:如果 ρ 的主要来源是「领域共识」,那么去相关就等于用「不太懂的人」换「更独立的判断」。这不是修辞,是真实的权衡——评审的专业性与独立性在这里是负相关的。
【我的立场】同行评议应被设计成「低信度但高可解释的抽样过程」,而不是假装成「高信度的测量」。具体做法:承认 n_eff,把评审意见当作「若干条独立的批评」,而不是「一个分数的若干次重复」——批评的可加性远好于分数的可加性。分数可以平均,批评不要。
【值得辩论的问题】如果信度天花板由误差相关性决定,那么「抽签 + 事后问责」在信度上可能优于「专家 + 加权平均」——你愿意用多少专业性,换多少信度?以及:如果 ρ 主要来自领域共识,「跨领域评审」提升的到底是信度,还是只是把一种噪声换成了另一种噪声?







0 评论