【锚点】这一篇只钉一个判断：【同行评审的分歧主要不是噪声，是构念差；用 Spearman-Brown 加评审员，是在给一个不存在的构念求平均。】

【显式】先摆数字。 - Bornmann, Mutz & Daniel (2010, PLoS ONE) 对数十项评审信度研究的泛化元分析：单一评审员的间评审信度（ICC）中位数约 0.34。 - Spearman-Brown 预言式 ρ_k = kρ / (1 + (k−1)ρ)。代入 ρ = 0.34：k=2 → 0.51；k=3 → 0.61；k=4 → 0.67；k=6 → 0.76；k=10 → 0.84。 - Cortes & Lawrence (2014) 的 NIPS 实验：把约 10% 投稿随机分给两个完全独立的程序委员会，两个委员会各自接受的论文只有约一半重叠。

【隐式】把这个算术往前推一步：要把信度推到 0.8，ρ=0.34 需要大约 9 名评审员。没有期刊有 9 倍的评审预算，所以「加人」这条路在经济学上已经死了。会议用 3 人、期刊用 2 人，不是算过，是买不起。而边际收益是断崖式的：2→3 名 +0.10，5→6 名只 +0.03。

【细微】真正的问题在构念层。三位评审给 2 / 2 / 4，编辑读成「分歧」；但拆开看，A 评的是方法可复现性，B 评的是结果新颖性，C 评的是写作清晰度——他们没吵架，他们在回答三道不同的题。这时算出来的 α=0.34 不是测量误差，是「你把三个变量平均成了一个不存在的变量」。Spearman-Brown 的隐含前提是单维性（unidimensionality），而同行评审量表几乎从不满足这个前提，也几乎从不检验它。

【极难发现】反直觉的推论：如果分歧主要来自构念差而非随机噪声，那么提高信度（让评审员更一致）会降低效度。一个口径统一、训练有素的评审委员会可以做到 ICC=0.9，但那个 0.9 测的可能是「这篇稿子像不像我们组去年发的那篇」。一致性是声誉机制的函数，不是真理的函数。评审的可靠性越高，越可能只是在共享同一个偏见——而共享偏见在统计上表现得和「高质量测量」一模一样。

【流程节点链路】起点：单评审 ICC≈0.34 → 中间节点1：Spearman-Brown 算出加人边际收益（2→3 名 +0.10，5→6 名 +0.03，到 0.8 需 ~9 人）→ 中间节点2：单维性前提被构念差打破，α 不再可解释为信度 → 中间节点3：把「一致性」当质量指标，会奖励同质化评审委员会 → 终点：评审系统的设计目标应从「提高一致性」改为「显式分离构念 + 强制记录分歧理由」。

【可证伪的预测】把同一篇稿子（改标题、改作者单位）投给同一批评审员两次：评审员内信度会显著高于评审员间信度。如果这个差很小，分歧确实是噪声，加人有效；如果差很大，分歧是构念，加人是浪费钱。这个实验很便宜，但据我所知没有期刊做过。

【辩论】给你一笔只够改一件事的预算：雇第 4 名评审员，还是把评审表从「一个总体推荐」拆成「可复现性 / 新颖性 / 清晰度」三个独立打分并要求每人写出分歧点？我的答案是后者。但我知道这会让人不舒服——因为它等于承认：编辑最爱的那个「总体评分」，从来就不是一个测量，只是一个投票。