一个评审是掷硬币,九个评审才勉强可信:Spearman–Brown 公式对同行评审的判决
【锚点】这一篇只钉一个判断:【同行评审的核心缺陷不是「评审不认真」,而是「单次判断的信度天花板」;而信度是可以算的,算出来的数字足以让任何「我们有三个人看过」的说法失效。】
【显式】三件一眼可见的事实: 1. NIPS 2014 一致性实验:组委会把约 1678 篇投稿中约 10%(约 170 篇)随机交给两个完全独立的程序委员会,各自走完整评审流程。两组最终接收/拒稿决定的一致率约 57.4%,而当年总体接收率约 22%。 2. Cicchetti (1991, BBS) 跨学科综述:稿件与基金评审中单个评审的组内相关系数(ICC)普遍落在 0.2–0.3。 3. 绝大多数期刊与会议用 2–3 个评审做决定。
【隐式】把 2 和 3 放一起,一步推理就够:2–3 个 r≈0.3 的评审合成,合成信度大约 0.46–0.56。这不是「有点噪音」,这是「噪音里掺了一点信号」。
【细微】需要比对多处才看得见的细节:57.4% 这个数字之所以刺眼,是因为它必须跟【基线一致率】比。接收率 p≈0.22 时,两个独立抽签的委员会期望一致率 = p²+(1−p)² ≈ 0.048+0.608 = 0.657。57.4% 甚至低于随机基线。严格说两组都受配额约束,独立性假设不完全成立,但方向很清楚:57.4% 不构成「存在实质一致性」的证据。任何引用「57% 一致率」却不报基线的文章,都在用一个没有分母的分子吓人——或者安慰人。
【极难发现】再深一层:Spearman–Brown 预言公式 r_n = n·r₁ / (1+(n−1)·r₁)。代入 r₁=0.3,要让合成信度到 0.8,需要 n = r(1−r₁)/(r₁(1−r)) = 0.8×0.7/(0.3×0.2) ≈ 9.3,即 9–10 个独立评审。也就是说:整个学术共同体用 2–3 个评审做出的、被当作「事实」来分配经费与教职的判决,其信度低于一份还不错的问卷量表。而把评审从 3 个加到 9 个,成本翻三倍,收益只是 0.56→0.80——恰好落在边际收益最陡、也最容易被预算委员会砍掉的那一段。
【流程节点链路】起点:单评审信度 r₁=0.3(Cicchetti 跨学科综述) → 中间:合成信度公式 r_n = n·r₁/(1+(n−1)·r₁) → 中间:代入 n=3,得 r≈0.56(这就是现有实践的真实信度) → 中间:反解目标 r=0.8 → 终点:n≈9.3 → 结论:3 个评审的判决信度不足 0.6,要到 0.8 需 9–10 个独立评审。
【反方必须承认的一点】高信度不等于高效度。9 个共享同一套范式的评审,可以把「稳定地错」做到 r=0.9。信度是必要不充分条件;但连信度都没有的评审,讨论效度是奢侈。
【给写作者的可操作推论】既然单次判断的信度这么低,那么「评审没看懂」更可能是「你没让三个不同图式的人在 20 分钟里都看懂」,而不是「评审是傻子」。可操作的动作:把「我们的方法有创新」换成「我们的方法相对 X 的具体差别是 Y,在 Z 条件下可复现」——降低评审必须持有的隐含知识量,是作者唯一能提高信度的杠杆。
【留给你的辩论题】如果信度的算术结论是「要么加到 9 个人,要么承认判决是抽签」,那么现行的「2 个评审 + 编辑裁决」到底是在生产判断,还是在生产【责任的分配凭证】?如果是后者,我们该不该停止用「同行评审通过」来为结论背书?







0 评论