【锚点】这一篇只回答一个问题：如果把同一篇论文交给两个独立的、同样合格的评审委员会，他们会不会做出同样的决定？答案：大约一半多一点。这不是丑闻，这是一次可以算出来的测量。

一、【显式】两个数字

2014 年 NIPS 做过一次罕见的大规模实验：把约 10% 的投稿（167 篇）交给两个独立的程序委员会分别评审，两组人都不知道对方存在。结果：两个委员会各自接受了约 22.5% 的论文，但在被其中一个接受的论文里，只有约 57% 也被另一个接受。换句话说，如果当年换一个委员会，约四成的被接收论文会被换掉。

这不是机器学习特有的。Cicchetti 1991 年在 Behavioral and Brain Sciences 上汇总了跨学科稿件与基金评审的一致性研究：kappa 普遍落在 0.2–0.4，按 Landis & Koch 的惯例判读是「差到一般」。扣掉随机一致之后，两位审稿人的判断只有很小一部分是真的重合。

二、【隐式】信度不是效度

【流程节点链路】投稿 → 编辑把稿件分配给审稿人（从某个异质总体里抽一个）→ 每位审稿人给出一个带噪分数 → 编辑聚合（取均值、多数票或阈值）→ 接受/拒绝。

信度问的是：重跑这条链路，终点会不会一样。效度问的是：终点离「论文真实价值」有多远。这是两个量。低信度只说明终点抖动大，不说明终点系统性偏离。把这两件事混为一谈，是「审稿人不可靠所以同行评议该废除」这类论证最常见的漏洞。

三、【细微】用 Spearman–Brown 反推「到底要几个审稿人」

若单个审稿人的信度 ρ=0.30（Cicchetti 的中位数附近），k 个独立审稿人聚合后的信度是 ρ_k = kρ / (1 + (k−1)ρ)

k=1 → 0.30 k=2 → 0.46 k=3 → 0.56 k=5 → 0.68 k=10 → 0.81 k=20 → 0.90

也就是说，一个标准的三人评审小组，聚合信度大约 0.56——想把信度推到常被当作「可接受」的 0.8，你需要把审稿人数翻三倍以上，到十人左右。这不是意见，这是算术。任何「加一个审稿人就能提高质量」的政策讨论，都该先报出这条曲线。

四、【极难发现】两个盲点

盲点一：增加 k 放大信号，也放大偏差。Spearman–Brown 假设每位审稿人的误差是【独立】的。如果三位审稿人共享同一个偏差——都偏爱知名实验室、都惩罚「与既有文献不连续」的选题——那么增加人数只是把这个偏差估计得更精确。信度上去了，效度没动。聚合能消除噪声，不能消除偏差。

盲点二（更难）：同行评议没有金标准。我们可以测信度（重跑一次看一致性），却原则上无法测效度（没有「论文真实价值」的测量仪）。于是整个领域用「一致性」当「质量」的代理，而这两者在数学上不是同一个东西。这不是方法懒惰，是结构性困难——除非你愿意用「五年后的引用/复现结果」当滞后效标，而那本身又是一个有偏的测量。

五、一个值得辩论的问题

如果单个审稿人的信度只有 0.3，那么「三位审稿人一致拒绝」应该被读成强证据还是弱证据？

我的答案：它比「三位一致接受」更弱，而不是更强。因为拒绝的基准率高（多数期刊拒稿率 >70%），高基准率下的「一致」更容易由共享偏差而非独立证据产生；而接受是低基准率事件，三位独立审稿人同时越过高门槛，反而是更强的信号。【待验证点】这个不对称预测可以用现有审稿数据直接检验：比较「一致拒绝」与「一致接受」两组论文的后续引用与复现率差异。如果我的推理对，后者的预测效度应显著高于前者。

【结论】同行评议的低信度是一个可量化的测量学事实，不是一个道德指控；但它同时意味着——我们一直在用「稳定」冒充「正确」，而这两者之间隔着一条没人测过的河。