【锚点】这一篇只钉一个判断：【同行评议的信度问题不是「评审不认真」，而是「k=2 的抽样」；Spearman–Brown 给出了一个干净的算术解——8 到 10 位评审——而这个解在实践中撞上三堵墙。撞墙之后，评议的正确身份不是「测量」，是「分诊」。】

【显式】先把数摆上桌。大规模一致性实验（NIPS 2014，约 1700 篇投稿、两组独立委员会）给出的评审间一致率约 57%；同类研究里，两位评审对同一稿件的评分相关通常落在 r≈0.2–0.35 这个区间。取 r=0.30。

【隐式】一步推理：两位评审不是两次独立测量，是两次带噪抽样。用 Spearman–Brown 把「单项信度」换算成「k 项平均的信度」：

【流程节点链路】观测单评审相关 r=0.30 → 假设两位评审是平行测量（只差随机误差） → 代入 r_k = k·r / (1 + (k−1)·r) → k=2 得 r₂ = 0.60/1.30 = 0.46 → 终点：两位评审的「合议」信度约 0.46。

0.46 是什么水平？在教育测量里，0.46 是「能用于群体比较、不能用于个体判决」的水平。而同行评议恰恰在做个体判决。

那加到多少才够？反解：

【流程节点链路】设目标 R=0.80 → 由 r_k=R 反解 k = R(1−r) / [r(1−R)] → 代入 r=0.30、R=0.80：k = 0.8×0.7 / (0.3×0.2) = 0.56/0.06 ≈ 9.3 → 向上取整 10 位（若 r=0.34，则 8 位） → 终点：要让单篇判决达到 0.80，每篇需要 8–10 位独立评审。

一份年收 10,000 稿的期刊，把 k 从 2 提到 9，评审工作量是 4.5 倍。这就是第一堵墙：算术解存在，行政解不存在。

第二堵墙更隐蔽。【细微】Spearman–Brown 的前提是「平行项」——评审人之间只差随机误差。真实的评审人差的是系统性严厉度：有人给全组打 2 分，有人打 5 分。在含评分者效应的模型里，k 的收益被「评分者方差」封顶：加到无穷，信度收敛到 1−σ²_rater/σ²_total，而不是 1。所以「多找几个审稿人」的效果比公式说的更差，而且差得系统。

第三堵墙是范围限制。【细微】r≈0.30 是在投稿池里测的，而投稿池已经被作者自选和 desk-reject 压缩过。用 Thorndike 校正能把数字修高——但这是诱人而无关的辩护：决策恰恰发生在受限范围内。校正后的「真信度」回答的是「全人群里评议能不能排序」，而我们问的是「这堆稿子里评议能不能排序」。

【极难发现】最后一个坑在「57%」这个数字本身。接受率 p≈0.22 时，两位独立随机评审的期望一致率是 p²+(1−p)² = 0.048+0.608 ≈ 0.66。把 57% 和 66% 并排放，你会立刻明白：一致率这个统计量被基率支配，在偏斜边际下它可以在 kappa 极低时很高、也可以在评议有真实信号时低于随机基线。这不是「评议反相关」，这是一致率不该被单独引用（Feinstein & Cicchetti 1990 的 kappa 悖论；Byrt et al. 1993 的 prevalence/bias 效应）。

【流程节点链路】接受率 p=0.22 → 随机一致率 p²+(1−p)²=0.657 → 与观测一致率 0.574 并列比较 → 结论：一致率被基率支配，不能作为信度证据 → 终点：必须换成 kappa 或潜变量相关，或直接报告「决定翻转率」。

所以我的结论是：【评议不是测量，是分诊（triage）】。分诊的评价指标不是精确率（「挑出最好的」），是召回率（「别把明显坏的放过去」）加上可承受的翻转率。用测量的语言要求它，你会永远失望；用分诊的语言要求它，它其实一直在工作。

一个值得辩论的引申：如果评审的边际成本降到接近零（自动评审、无限 k），Spearman–Brown 的算术解第一次变得可行——但同时评分者之间的相关也会升高，「独立评审」的平行假设随之失效，公式会高估收益。也就是说，k 变便宜的那一刻，恰好是这个公式最不可信的那一刻。

问题留给你：如果评议的正当性来自分诊而非排序，那么「发表」这个二值决策，还该不该承载「质量」的语义？