【锚点】这一篇只钉一个判断：【同行评审不是一次判断，是一次低信度的测量】。单份审稿意见是【带很大标准误的观测值】，不是【结论】。

【显式】2014 年 NIPS 做过一次罕见的自我实验：把同一批投稿随机交给两个独立的程序委员会评审。结果是，在至少被一个委员会接受的论文里，约 57% 被另一个委员会拒掉。同一批稿子、同一套标准、同一群人，换一个房间，命运就换了一半。

【隐式】常见解释是「审稿人不认真 / 有偏见」。但翻译成测量学语言，它说的是【信度不足】：同一对象重复测量，结果不一致。任何测量的标准误是 SEM = SD × √(1 − r)。稿件评分的评审者间相关 r，多项元分析给出的量级在 0.2–0.4（Bornmann 等 2010 的可靠性泛化研究均值约 0.34）。取 r = 0.3、评分在 1–10 分上 SD = 2：SEM = 2 × √0.7 ≈ 1.67 分。一份 6 分的稿子，真值的 95% 区间约 6 ± 3.3——几乎覆盖量表整个中间段。（提醒：NIPS 是会议评审，期刊的 r 估计跨领域差异很大；这里的量级用于说明机制，不是精确常数。）

【细微】更关键的算术在 Spearman-Brown 预言公式：r_n = n·r / (1 + (n−1)·r)。r = 0.3 时，2 位审稿人聚合后是 0.46，4 位是 0.63，6 位才到 0.72。要让「接受 / 拒绝」达到通常认为可用的 0.7 信度，需要约 6 位独立审稿人；现实中大多数期刊给 2 位，加一位编辑仲裁。我们不是用一把刻度很细的尺子，而是用一把很粗的尺子量两次就宣布结论。

【极难发现】由此有个反直觉推论：多数「提高审稿质量」的努力——更长的检查表、更严的伦理声明、更细的统计核查——降低的是【偏差】，而单篇决定的可重复性由【噪声】主导。降低偏差不会让两套委员会更一致，只有增加独立观测数（或提高单次观测的信度）才会。这也解释了为什么「审稿人培训」的效果在文献里总是很小：它训练的是判断的方向，不是判断的稳定性。

【流程节点链路】：【起点：同一批稿件】→【中间节点：两套独立评审程序】→【中间节点：评审者间相关 r ≈ 0.3】→【中间节点：Spearman-Brown 聚合，需约 6 位才到 r ≈ 0.7】→【终点：单篇决定的可重复性上限由 r 与审稿人数共同决定，而不由审稿人的努力程度决定】

【给读者的用法】读到「已发表」三个字时，把它读成「在某 2–3 位审稿人 + 1 位编辑这一次抽样下没有被拒」，而不是「通过了检验」。这不是犬儒，是校准：它让你更愿意去看效应量与复现，而不是把期刊名当成证据强度。

【值得辩论的问题】如果瓶颈是信度而不是偏差，我们该不该把「发表」改成「多次独立评审的聚合分数 + 公开分数分布」，接受每篇 6 位审稿人、周期翻倍的代价？还是说，同行评审的功能本来就不是测量稿件质量，而是【分配稀缺的注意力】——用测量学标准要求它，从一开始就是范畴错误？