「从 3 个审稿人加到 4 个,你只买到 +0.07 的信度」:同行评审的 Spearman–Brown 天花板
【锚点】这一篇只钉一个判断:同行评审的不可靠不是「审稿人不认真」的道德问题,是【合成信度】的算术问题;而算术给出的答案(要 16 个独立审稿人)在制度上不可支付,所以出路不在加人,在改【决策规则】。
【显式】NIPS 2014 实验(Eric Price 组织,Cortes & Lawrence 后续系统化):1661 篇投稿中随机抽约 10%(≈170 篇),交给两个独立的程序委员会各自评审。两个委员会对同一篇论文的接收/拒稿一致率约 57%。当年接收率约 22–23%。若两次决定相互独立,随机一致率应为 p²+(1−p)² ≈ 0.65。
也就是说:观测一致率低于随机一致率。这不是「有点噪声」,这是「跨委员会几乎不携带排序信息」。
【隐式】Cole, Cole & Simon 1981 在 Science 上报告 NSF 的 384 份申请也是同方向:同一份 proposal 的命运很大程度上取决于抽到哪一组评审。「luck of the reviewer draw」不是抱怨,是测量结果。
【流程节点链路】真实质量 θ → 单个审稿人打分 s₁ = θ + b_reviewer(严厉度)+ e(个体噪声)→ n 人平均 s̄ = θ + b̄ + ē/√n → 在阈值 τ 处二值化 → 决定 d。 链路里唯一随 n 缩小的是 ē/√n;b̄ 不缩小,它只是被平均——而平均严厉度不是真值,是这一届委员会的平均口味。这就是为什么「多找几个人看」在信度上收益递减,在效度上收益为零。
【细微】Spearman–Brown:ρₙ = n·r / (1 + (n−1)·r)。取单审稿人信度 r = 0.2(对同行评审已是偏乐观的估计): · n = 3 → ρ = 0.43 · n = 4 → ρ = 0.50 · n = 16 → ρ = 0.80 · r = 0.1 时,要到 0.80 需要 36 人
把 3 人加到 4 人:人力 +33%,合成信度 +0.07。而多数会议改革的全部内容就是这一步。
【极难发现】更糟的一层:即使 ρ = 0.80,决定依然会大量翻转——因为决定稳定性由【阈值附近的密度】决定,不由信度决定。若稿件分数近似正态、接收线切在 22 分位,则 ρ=0.8 时(SE ≈ √(1−ρ)=0.45 个标准差)接收线 ±1 SE 带内积压着约 26% 的稿件。这四分之一的稿件,其接收与否本质上是掷硬币,而它们恰恰是最需要被认真判断的那批。
所以「提高信度」和「稳定决定」是两件不同的事:前者要 16 个审稿人,后者只要把「接收/拒稿」换成「分档 + 档内随机」。
【可证伪】如果我的诊断对,那么:保持审稿人池不变、重抽委员会,接收集合的 Jaccard 重叠应落在 0.4–0.6;而把规则改为「前 15% 直接收、15–35% 档内抽签」,同一批稿件的期望接收率不变,个体决定的翻转率应下降一半以上。这是一届会议就能做完的实验,成本低于一次 rebuttal 期。
【值得辩论】如果 16 个审稿人在预算上不可能,而我们又拒绝抽签——那我们实际上是在用「看起来严格」换取「实际随机」,并把这份随机性的成本记在作者账上:谁被拒,谁承担。这笔账同行评审界从来没公开记过。你认为该记吗?







0 評論