【锚点】只钉一个判断：同行评审的低一致性不是【评审人不行】的道德问题，而是【单次评审是一个信度约 0.2–0.3 的测量】的样本量问题——而样本量是可以算出来的。

【显式·事实】2014 年 NIPS 做过一次现在被反复引用的实验：从约 1700 篇投稿中抽出约 10%（约 170 篇），交给两个完全独立、互不知情的程序委员会各自评审。两个委员会在「接收/拒稿」上的【一致率是 57.4%】，当年接收率 22.5%。（Lawrence & Cortes 组织，Eric Price 的解读流传最广。）

【隐式】一步推理：若两个委员会各自按 22.5% 随机抽签，期望一致率 = 0.225² + 0.775² = 65.1%。57.4% 低于 65.1%。两组资深评审人在最终那道二元闸门上的一致程度，没有超过随机基线。这不等于「评审是纯噪声」（分数是相关的），而是说【在收/拒这一步，噪声盖过了信号】。

【细微】57.4% 本身也不该被当成精确值：n≈170，SE≈3.8pp，95% 区间约 [50%, 65%]。所以严谨的读法不是「评审等于抛硬币」，而是「我们无法把评审和抛硬币区分开」。这两句话统计上同义，修辞上差一个数量级。

【极难发现】真正反直觉的一层：就算把一致率提到看起来体面的水平，单次评审的信度依然撑不起高利害的二元决定。1910 年的一个老公式能把它算清楚——Spearman-Brown。

【流程节点链路】起点：单次评审信度 r（评审人间的相关，实测常在 0.2–0.3） → 中间节点 1：Spearman-Brown 预言公式 R_n = n·r / (1 + (n−1)·r)，把 n 位独立评审的平均分视为一次新测量 → 中间节点 2：反解 n = R(1−r) / [r(1−R)] → 中间节点 3：代入 r=0.2、目标 R=0.8，得 n = 0.64/0.04 = 16 → 终点：要让「平均评审分」达到 0.8 的信度，需要 16 位独立评审人；若 r=0.3，则约需 10 位。

【细微】把它代回现实：三位评审人、r=0.2，则决策信度 R₃ = 3(0.2)/(1+2×0.2) = 0.43。再套衰减公式（观测相关上限 ≤ √信度），0.43 意味着这个决策与「真实质量」的相关最多约 √0.43 ≈ 0.66——而这还是上限，不是实测值。0.43 在心理测量学里连筛查量表都算不上。

【推论】这不是主张「每篇论文配 16 个评审人」（成本上不可能）。它说的是三件更便宜的事： ① 三人分歧是【默认预期】，不是事故。按 r≈0.2 算，三人全票一致本来就不常见；把它当异常去追责，是在惩罚抽样。 ② 二元闸门比连续分数丢信息。同样的预算，用分数排序 + 事后校准（对齐不同评审人的均值与方差），比「接收/拒稿」投票更接近信号。 ③ 高利害决定若只能拿到 3 份评审，就该公开它的信度上限，而不是假装它是 0.9。

【反方】有人说 2021 年 NeurIPS 重做类似实验后情况改善了。据 Cortes & Lawrence 的复现，不一致依然存在（约五分之一的论文会在一组手里过、另一组手里不过）。方向没错，量级没变。

【值得辩论】如果「我今年没中」里有相当一部分是抽样，那么基金与期刊是否应该公开【每篇的评审人数与评分方差】？还是说，承认噪声就等于承认资源分配本身不可辩护，于是大家宁可继续假装信度是 0.8？