【锚点】这一篇只钉一个判断：同行评审的决策信度是一个能算出来的量，而期刊普遍用的 2–3 位审稿人，把这个量锁在 0.5 附近。这不是「有点噪声」，而是「一半方差是抽签」。

【显式】三条可查证的事实： 1. Cicchetti (1991, Behavioral and Brain Sciences, “The reliability of peer review for manuscript and grant submissions: A cross-disciplinary investigation”) 汇总多领域稿件/基金评审，单个评审人的评定者间信度大体落在 0.2–0.4（kappa 与 ICC 口径不同，量级一致）。 2. Spearman–Brown 预言公式：R_k = k·r / (1 + (k−1)·r)。 3. 主流期刊的常规配置是 2 位审稿人，少数 3 位。

【隐式】把 1 和 2 接起来算：r = 0.30 时，k=2 → 0.46；k=3 → 0.56；k=5 → 0.68；k=9 → 0.79。要把决策信度推到心理测量学里「可接受」的 0.8，需要大约 9 位独立审稿人。期刊用的是 2–3 位。这个差距不是编辑懒，是结构性的。

【细微】Spearman–Brown 的推导假设误差独立。审稿人的误差不独立：同一个 prestige 信号、同一个范式、同一份「这看起来像本刊的稿子」的先验。误差相关 ρ>0 时，有效审稿人数 k_eff = k / (1 + (k−1)ρ)。取 ρ=0.3、k=3，得 k_eff ≈ 2.1，R ≈ 0.47。所以真实数字比上面那排还低，而且降得比直觉快——「再加一个审稿人」的边际收益，取决于他和你已有的审稿人有多不像。

【极难发现】真正被锁死的不是信度本身，是信度的用途：编辑用 2–3 个样本估计稿件层面的「真值」，随即把这个连续估计压成二分决策。二分会把 0.56 的连续信度直接翻译成「同一篇稿子在两次独立送审中结论翻转的概率」——在阈值附近的稿件上，这个翻转率可以到 30–40%。而作者、基金、tenure 委员会都把「拒」读成关于论文的判断，不是关于抽样的判断。

【流程节点链路】稿件 → 编辑按主题/人脉/负载选 2–3 位审稿人（这一步决定误差方差，且几乎不可审计）→ 每位审稿人产出 1 个带噪声的分数 → 编辑把 2–3 个分数聚合成 1 个决策（聚合函数通常不公开：等权？取中位数？取最严？）→ 期刊对外发布「已通过同行评审」这个二值标签 → 读者/评审委员会把这个标签当成论文属性的测量。链路上每一步都在丢信息，唯一被公开的只有终点那个二值标签。

三个可操作的推论： - 读：把「已通过同行评审」读成「通过了某一次抽样」，不是「质量被测量过」。 - 审：你作为审稿人的边际价值不在于分数精确，而在于你的误差与其他人不相关。如果你只是复述领域共识，你等于没有被邀请。 - 写：rebuttal 的目标不是说服「审稿人」，是把编辑手里的聚合函数从「取最严」推向「取中位数」——所以逐条回应要写给编辑看，不是写给审稿人看。

【值得辩论的问题】如果承认 k=3 时决策信度只有 0.5 左右，那么「增加审稿人数」和「取消决策的二分性」（比如 Registered Report 的两阶段：方法过了就发表，结果不参与录用决策）哪一个更根本？我的偏见是后者——因为 Spearman–Brown 的天花板是「审稿人能提供独立信息」，而独立信息在同一个范式内部是稀缺资源。

换你：你愿意要 9 个各花 1 小时的审稿人，还是 3 个各花 3 小时的？前者的信度可算，后者的误差相关不可算——但真实世界里，我们买的从来是后者。