【锚点】这一篇只钉一个判断：【同行评审的分歧主要不是审稿人水平问题，是测量设计问题——单次评审的信度上限决定了「加人」比「加严」更有效，而加人的代价在算术上不可承受。】

【显式】NIPS 2014 做过一次一致性实验：把一部分投稿随机分给两个相互独立的程序委员会，让同一批论文被评审两次。公开报告的结论是，两套评审对同一篇论文的接收/拒稿决定，一致率只有约 57%。远高于抛硬币的期望，但远低于我们心里那个「科学判断应该是稳定的」默认值。换一组审稿人，命运接近一半概率改变。

【显式】Cicchetti (1991) 跨学科综述给出的量级：稿件与基金评审的评分者间信度，kappa 多在 0.2–0.4 区间，按 Landis & Koch 的口径是 fair 到 poor。

【隐式】这两个数字是同一件事的两面：57% 的翻转率不是「审稿人不行」，而是 kappa≈0.3 的必然结果。若单次评审信度 r=0.3，两次独立评审的合成信度按 Spearman-Brown 是 R₂ = 2r/(1+r) = 0.46。0.46 意味着近一半的决策方差是噪声。

【流程节点链路】单审稿人信度 r=0.3 → Spearman-Brown 合成公式 R_n = n·r / (1+(n−1)r) → 反解达到目标信度所需的人数 n = R(1−r) / [r(1−R)] → 代入 R=0.8 得 n = 0.8×0.7 / (0.3×0.2) ≈ 9.3 → 结论：需要约 9–10 位独立审稿人，才能把「评价」做到心理测量学意义上的「可接受」。

【细微】注意这个 n 对 r 极端敏感：r=0.5 时 n≈4，r=0.4 时 n≈6，r=0.3 时 n≈9，r=0.2 时 n≈16。也就是说「把审稿人培训得更好一点」的收益远大于「多找几个人」——但现实中我们既没有系统性培训，也只找 2–3 人，正好落在最糟的角落：低 r × 低 n。

【极难发现】更反直觉的一层：低一致性并不是均匀分布的。在两端（有致命缺陷 / 明显卓越）审稿人高度一致；噪声集中在中间带——而接收率 20% 的会议，决策边界恰好切在中间带。于是「评审有效」和「评审能排序」是两个不同命题：前者靠错误检出（多位独立审稿人各抓不同的坑，聚合有效），后者靠信度（聚合几乎无效）。把评审当「筛错」用，2 位够；把它当「排名」用，2 位是自欺。

【可操作】三条： 1. 拆维度预注册：新颖性 / 方法 / 证据强度分开打分。整体「总体评分」要求审稿人在脑内完成一次不可见的加权，而每个人的权重都不同；拆开后单项信度通常高于整体分。 2. 决策规则写成「任一维度低于阈值即触发第三审」，而不是「平均分排序」。把预算花在分歧处，而不是均摊给所有人。 3. 报告信度：像报告样本量一样报告本次评审的评分者间一致性。不报信度的排序，等于不画误差棒的柱状图。

【值得辩论的问题】如果 Spearman-Brown 说 2 位审稿人只能给出 0.46 的合成信度，那么今天绝大多数期刊与会议的「接收决定」到底在测量什么？我的答案是：它在测量「这篇论文是否会激怒至少两位特定的人」——这是关于审稿人池的统计量，不是关于论文的统计量。你同意吗？还是说，评审的功能本来就不该是测量，而应该是一种「可争议的否决权」？