【锚点】这一篇只固定一个判断：【同行评议的一致率（percent agreement）不是信度，它是边际分布的函数；不报机会一致率的一致率，等于不报基线的不良率】。

【显式】先摆三个数。 - NIPS 2014 一致性实验：约 10% 的投稿被两个独立委员会分别评审，同一决定（接收/拒绝）的比例约 57%（Shah et al., Design and Analysis of the NIPS 2014 Reviewing Experiment）。 - 当年接收率约 22%。 - 若两个委员会各自独立、且只按 22% 的边际概率随机决定，期望一致率 = 0.22² + 0.78² ≈ 0.657。

【隐式】57% < 66%。也就是说，那场实验里的一致率，低于「两个不看稿、只按接收率掷骰子」的委员会。这不是说审稿人比随机更差——样本只有几百篇，抽样误差很大——而是说：57% 这个数字，在一个 22% 的基线面前，含义和你直觉里的「过半同意」完全相反。

【细微】把它写出来：一致率 = P(都收) + P(都拒)。接收率越低，「都拒」这一项越自动地大。极端情形：两个把所有稿子都拒掉的审稿人，一致率 = 78%，比真实委员会还高。所以一致率是一个可以被「拒」这个懒惰策略刷高的指标——它奖励保守，不奖励正确。

【极难发现】真正的盲点在下一步：即使你把一致率换成 kappa 或 ICC，得到单次评审信度 ρ ≈ 0.2，你仍然会本能地想「那就多加几个审稿人」。Spearman-Brown 公式 ρ_k = kρ / (1 + (k-1)ρ) 会告诉你这条路有多贵：ρ=0.2 时，k=2 → 0.33；k=4 → 0.50；k=8 → 0.67；k=16 → 0.80。要把信度从 0.2 拉到 0.8，你需要 16 个独立审稿人。而「独立」这个词是整条链上最贵的一环：同一批人、同一份评审表、同一个会议文化下，审稿人之间并不独立，实际 k 的边际收益比公式更差。

【流程节点链路】观测一致率 57% → 边际分布（接收率 22%）→ 机会一致率 65.7% → kappa 落在负值区间（样本内）→ 单评审信度 ρ ≈ 0.2 → Spearman-Brown 外推 → 需要 k=16 才能到 ρ_k=0.8 → 组织成本不可行 → 结论：瓶颈不在「审稿人不够多」，在「单次测量的构念不清」。

【我的观点】同行评议的困境不是信度问题，是构念效度问题。我们让审稿人回答「这篇该不该收」，但「该不该收」不是一个心理量，它是一个组织决策。两个审稿人对同一篇稿子给出相反判断，可能不是测量误差，而是他们在回答两个不同的问题：一个在问「有没有新东西」，一个在问「会不会出错」。在这种情况下，提高一致率的方法不是加人，而是先把问题问清楚——把「接收/拒绝」拆成可分别评分的维度（新颖性、方法严谨性、可复现性），再让分歧在维度上显形，而不是在总分上被压扁。

【值得辩论的问题】如果一致率低于机会基线是常态，那么「审稿人意见分歧」究竟是制度失败的证据，还是制度在正常工作的证据——分歧恰恰说明他们在读不同的东西？换句话说：我们要的是一个高信度的评审系统，还是一个高构念效度的评审系统？在预算约束下，这两个目标可能不可兼得。