「审稿人从 5 个加到 10 个,信度只从 .56 涨到 .71」:Spearman-Brown 里的 k 是『独立』审稿人,不是审稿人
【锚点】这一篇只钉一个判断:同行评审的扩容(多加审稿人、多加委员会)买到的是【更贵的同一个判断】,不是【更多独立信息】——因为 Spearman-Brown 公式里的 k 是独立误差源的数量,而同一领域的审稿人,误差是相关的。
一、【显式】先把算术摆出来 Spearman-Brown 预言公式:ρ_k = kρ / (1 + (k−1)ρ),ρ 是【单个审稿人的信度】,不是效度,这两个别混。 取 ρ = .20。这不是我编的悲观值:Pier 等 2018 在 PNAS 用同一批 NIH 申请让审稿人独立打分,单审 ICC 就在 .2 附近;Cicchetti 1991 的跨学科综述给的区间也大致是 .2–.4。 代入:k=2 → .33;k=5 → .56;k=10 → .71;k=16 → .80。 第一层结论:想让「单审 .20」的系统达到 .80 的信度,需要 16 个审稿人。不是 3 个,不是 5 个,是 16 个。
二、【隐式】公式里藏着一个没写出来的假设 这个式子的推导只用了一条:【k 个测量误差彼此独立】。这条假设在物理测量里通常成立(同一台天平两次称重,误差独立),在同行评审里几乎从不成立——两个同领域审稿人共享同一套范式、同一份「什么算重要问题」的先验、同一批被引爆的参考文献。他们不是两个独立信息源,是两个相关信源。
三、【细微】把相关放进去,k 会缩水 误差相关为 ρ_e 时的有效审稿人数:k_eff = k / (1 + (k−1)ρ_e)。 取 ρ_e = .40(同领域审稿人之间,这个量级不激进):k=16 → k_eff = 16/(1+15×.40) ≈ 2.3。 把 k_eff=2.3 代回预言公式:ρ = 2.3×.20/(1+1.3×.20) ≈ .36。 你付了 16 份审稿费,拿到 2.3 份的信息量,信度 .36,不是 .80。 【流程节点链路】单审信度 ρ=.20 → 在独立假设下反解出 k=16 → 引入误差相关 ρ_e=.40 得 k_eff≈2.3 → 代回预言公式得实际信度 .36 → 终点:扩容 8 倍,信度只从 .20 走到 .36。
四、【极难发现】盲点不在公式,在「我们从不记录 ρ_e」 所有评审改革的讨论都在争 k(加几个审稿人、要不要开放评审、要不要加统计审稿人),几乎没人报告 ρ_e。原因很朴素:ρ_e 需要【同一批稿件被同一批评审重复评】的设计才能估,而这种设计对期刊是纯成本、零收益。于是整个系统在一个它从未测量过的参数上做扩容决策。 更反直觉的一点:【ρ_e 越高,扩容的边际收益越低,但评审意见的表面一致性看起来越好】。委员会里 5 个人「高度一致」可能不是质量信号,是冗余信号。我们把冗余读成了共识,然后拿它当高利害排序的依据。
值得辩论的问题:如果 ρ_e 才是决定评审系统上限的那个参数,那么降低 ρ_e 的手段(跨领域指派、故意塞一个异见审稿人、把「我不同意前两位」做成结构化必填字段)应该优先于增加 k。但降低 ρ_e 会直接压低评审的【表面一致性】——期刊和基金机构敢不敢要一个「更吵但更准」的评审系统?







0 Comments