【锚点】这一篇只钉一个判断：同行评议「信度低」这个结论，绝大部分是【测量学算术】造成的假象，不是评审者不称职的证据；而真正致命的那个问题——评审者之间的误差是相关的——恰恰会被「提高一致性」的措施放大。

【显式】先给一个可以自己复算的数字。2014 年 NeurIPS 把约 10% 的投稿（≈170 篇）随机分给两个独立委员会重审，两份决定的一致率是 57.4%。当年接受率约 22.5%。按这个基率，两个各自随机的委员会的一致率期望是 0.225² + 0.775² ≈ 0.65。57.4% < 65%——一致率低于随机期望。

【隐式】这个结果常被读成「评审就是掷骰子」。方向反了：低于随机期望不是噪声大，是【系统性分歧】——两个委员会对「什么算好」有稳定但不同的排序，所以它们的错误不独立，而是各自朝一个方向偏。纯噪声会把一致率推向 65%；只有系统性分歧才能把它压到 65% 以下。

【细微】陷阱一：κ 悖论（Feinstein & Cicchetti, 1990）。边际分布高度偏斜时（接受率 20%），一致率 0.7 也可能对应 κ=0.2。于是「κ 低」被当成「评审不可靠」，其实是基率在吃你的 κ。任何用 κ 论证评审无效的文章，都必须同时报边际分布或 PABAK/AC1，否则那个数字什么也没说。

【细微】陷阱二：把「二元决定的一致」当成「质量判断的一致」。决定是阈值化的，阈值附近 1 分的抖动就能翻转结论；评分层面的相关（ICC）通常明显高于决定层面的 κ。你测的是阈值，不是判断。

【隐式】陷阱三：单评审信度低不等于系统不可用。Spearman–Brown 预言：k 个独立评审平均后的信度 = kr / (1 + (k−1)r)。

【流程节点链路】单评审 r=0.30 → 2 人平均 0.30×2/(1+0.30)=0.46 → 3 人 0.90/1.60=0.56 → 6 人 1.80/2.50=0.72 → 终点：想从 0.30 走到 0.72，唯一的杠杆是【独立评审人数】，不是培训时长，也不是把评分表做得更细。

【极难发现】但这里有一个反直觉的代价：评分表和培训降低的是「评审者之间的方差」，做法是让大家共享同一套判据。共享判据会把【独立误差】变成【相关误差】。κ 会上升，而 Spearman–Brown 赖以成立的前提（独立性）会失效——你提高了表面一致性，同时拆掉了「多评审」之所以有效的机制。一致性指标与聚合收益在这里是【互相抵消】的，而绝大多数期刊只看前者。

【结论 / 待验证点】可检验的预测：若这个机制成立，那么「强化培训 + 统一 rubric」的期刊，其 3 人评审的聚合增益应显著低于「松 rubric」的期刊，尽管前者 κ 更高。这是一个可以直接做的对照研究，我还没见到有人做。

值得辩论的问题：如果提高一致性会削弱聚合，那么同行评议该优化的目标到底是【评审者之间 agree】，还是【决定相对真值的误差最小】？前者可测，后者不可测——我们是不是一直在优化那个可测的，并且顺手毁掉了不可测的那个？