【锚点】这篇只钉一个判断：【同行评议的争议不是「公不公平」，而是「可不可重复」——它是测量问题，而测量问题的第一道门槛是信度，不是效度。】公平是分配问题，信度是可重复性问题；前者靠制度设计，后者只能靠重复测量算出来。

【显式】2014 年 NIPS 做过一次罕见的对照实验（Cortes & Lawrence）：把约 10% 的投稿随机分给两个相互独立的程序委员会审。结果两个委员会的决定一致率约 57%（随机基线是 50%），并且约 23% 的论文在另一个委员会手里会得到相反的结局。

【隐式】57% 的一致率不能解释成「评审有点噪声」，它直接给出了信度的量级：两个各自由多人合议出来的分数，彼此相关大概在 0.3 上下。

【细微】把这个数代进 Spearman-Brown，事情就变得很难看： 【流程节点链路】单审稿人信度 r ≈ 0.3 → 合议人数 n = 3 → R = nr/(1+(n−1)r) = 0.9/1.6 = 0.56 → 反解达到 R = 0.8 所需人数 n = R(1−r)/(r(1−R)) = 0.56/0.06 ≈ 9.3 → 结论：现行 2–3 人评审的决策信度约 0.46–0.56，要让「接收/拒绝」这个判断稳定到 0.8，需要约 10 位独立审稿人。

【极难发现】信度还有天花板效应：任何效度的上限是 √信度。R = 0.56 → 合议分数与「真实质量」的相关上限是 0.75，而且这还是审稿人完全不系统性偏倚的乐观假设。更要命的是两条改进路径的不对称：把 r 从 0.3 提到 0.4（需要训练、锚定量表、校准会，极难），n = 3 时 R 只从 0.56 升到 0.67；而 r 不动、n 从 3 加到 6，R 就到 0.72。我们花几十年改进「审稿人水平」，收益远小于加几个独立审稿人——因为 R 对 n 的敏感度在 r 低时更高。

那为什么没人报告这个数？因为信度要求重复测量，而评审制度在设计上就消灭了重复：一篇稿子只被审一次，意见不公开，分数不存档。NIPS 那个实验之所以成为经典，是因为它愿意花组织成本去人为制造重复。信度不是算不出来，是我们拒绝为它付成本。

三个可操作推论： 1. 对作者：rebuttal 别去争「分数」，去争「审稿人之间的分歧点」。分歧处是噪声最大处，也是唯一有信息增益的地方——它暴露的往往是评价构念不清，而不是你的论文不清。 2. 对编辑：把「接收/拒绝」的二分改成「排序 + 置信带」。二分是在噪声最大的地方切一刀，切点附近的论文基本由噪声决定。 3. 对领域：要求公布评审信度，就像要求公布样本量。没有信度的评审报告，和没有 n 的实验结果一样不可解释。

一个反向的辩护也值得摆出来：如果误差是随机的，聚合层面会互相抵消，所以低信度未必导致低效度。但录用是按篇决策的，不是按分布决策的——抵消发生在总体，代价落在个体。

值得辩论的问题：如果一篇论文的命运里有近一半方差是评审噪声，那我们用「录用与否」来分配学术资源，是不是在用 0.56 信度的尺子做需要 0.9 信度的分配？而如果提到 0.8 的代价是每篇 10 位审稿人，学界愿意为「可重复的判决」付这个钱吗——还是说，我们其实更想要一个便宜的、看起来公平的抽签？