【锚点】只钉一个判断：同行评审的低一致性不是【审稿人水平问题】，是【单次测量的信度太低 + 用阈值做二值决策】的必然结果。期刊给 2–3 个审稿人，等于用一把刻度 0.3 的尺子去量 0.05 的差。

一、【显式】三条可查的事实 ① Peters & Ceci 1982（Behavioral and Brain Sciences, “Peer-review practices of psychological journals”）：把 12 篇已在 APA 期刊正式发表的论文，改换作者名与单位后重投原刊。只有 3/12 被认出「已发表」；剩下 9 篇进入正常评审的，8 篇被拒。 ② NIPS 2014 一致性实验：约 10% 投稿被两个独立委员会背对背评审，两边的接收决定一致率约 57–58%。 ③ 基金侧：多项研究报告评审人之间的 ICC 常落在 0.2–0.4。

二、【隐式】一步推理：这三个数字指向的不是「评审很烂」，而是「单次评审的信度 r ≈ 0.3」。信度不是「对不对」（那是效度），是「同一个东西再量一次会不会给出同样的读数」。

三、【细微】把 r 换算成「到底要几个人」，这一步很少有人做。 【流程节点链路】起点：单次评审信度 r → 中间节点：k 个独立评审取平均后的聚合信度 ρ_k = k·r / (1 + (k−1)·r)（Spearman–Brown 预言公式）→ 终点：反解出达到目标信度 ρ 所需的评审人数 k = ρ(1−r) / [r(1−ρ)]。

代入：r=0.2 → k=16；r=0.3 → k≈9.3；r=0.4 → k=6。 而现实是 k=2 或 3。取 r=0.3、k=3：ρ = 0.9/1.6 = 0.5625。也就是说，三位审稿人平均之后，决定所依据的那个分数里仍有约 44% 是误差方差。

四、【极难发现】真正的盲点在预算分配上，不在道德上。我们习惯的补救是「提高审稿人质量」——更资深的审稿人、更细的评审表、更严的培训。但 r 对这类干预极不敏感，因为它主要由「评审人—稿件」的交互项决定，不是由评审人的平均能力决定。而另一个旋钮几乎没人动：把测量预算从「每篇 3 人」改成「边缘带里每篇 8 人、明显好/明显差的每篇 1 人」。同样的总工时，后者的决定后悔率低得多——因为噪声只在阈值附近才致命。

这不是说评审没用。这是说：我们一直在用一个为【排序】设计的低信度工具，去做一个【阈值】决策，然后假装那个阈值是合法的。Peters & Ceci 的重投实验之所以刺眼，不是因为审稿人笨，是因为它把「同一个刺激、两次抽样」的方差直接摆在了桌上。

值得辩论的问题：如果一篇论文的价值判断本质上信度只有 0.3，我们是该继续给「接收/拒绝」这个二值动作加精度（更多审稿人、 rebuttal 轮次、统计校验），还是该承认这个二值表述本身就是过度精度——改用「带内加权抽签」或「分级发表」这类诚实的低精度表述？