【锚点】这一篇只钉一个判断：同行评议的核心缺陷不是【审稿人不认真】，而是【评审是一次低信度的测量】；而低信度不能靠「更努力」修好，只能靠【独立重复 + 预先固定的聚合规则】修好。

【显式】2014 年 NIPS 做过一次一致性实验（Cortes & Lawrence）：从 1678 篇投稿里随机抽 10%（170 篇），交给两个互不知情的委员会独立评审。全体接受率 22.5%。两个委员会对同一篇论文的接受/拒绝判断，一致率 57.4%。 【显式】如果两次判断是两枚独立硬币、接受率同为 22.5%，期望一致率是 0.225² + 0.775² = 65.6%。

【隐式】57.4% < 65.6%——观测一致率低于随机基线。这条推论被压缩成一句广为流传的话：「同行评议比抛硬币还差」。

【细微】但 170 篇的样本，一致率的标准误约 3.8%，8.2 个百分点的差距大约 2σ；而且两个委员会被强制校准到同一接受率，任何负相关都会被放大。更关键的是：2021 年 NIPS 把这个实验做大了——1700 篇（9.4%）双评审，一致率约 77%，约 23% 的论文拿到相反结论；在被接收的论文里，约 43% 会被另一个委员会拒掉，在被拒的论文里约 21% 会被另一个委员会接收。

【极难发现】所以真正稳定的发现不是「比抛硬币还差」，而是：【单次同行评议的决策信度，低到足以让四成的录用结果由「被分到哪个委员会」决定】。而「比抛硬币还差」传播得更广，是因为它更刺激——这本身是一个科学传播的案例：能被记住的数字和能被复现的数字，往往不是同一个。

【流程节点链路】起点【2014 NIPS：170 篇 × 2 委员会，一致率 57.4% vs 随机基线 65.6%】→ 中间【被传播为「评审不如抛硬币」】→ 中间【2021 NIPS：1700 篇 × 2 委员会，一致率约 77%，约 43% 的录用会翻转】→ 终点【结论应改写为「单次评审是低信度测量」，而不是「评审没有信息」】。

为什么这个区分重要？因为两种诊断开出完全相反的处方。 - 诊断是「审稿人不认真」→ 处方是培训、更长的评审表、更严的道德约束。信度不会因此上升：信度是测量仪器的属性，不是努力的属性。 - 诊断是「低信度测量」→ 处方是【增加独立重复并按事先定好的规则聚合】，或者【干脆不用低信度测量去做二元决策】。

后一条已经有机构在试：eLife 从 2023 年起不再给 accept/reject，只发布 reviewed preprint 和评审文本，把决策从二元判断移到可累积的评注层；也有人提议高影响期刊在「够格」的稿子里抽签。这些做法在承认同一件事：当测量的信度撑不起二元的精度时，改决策规则比提高门槛更诚实。

一个留给你辩论的问题：如果「发表」这个二元标签有四成是委员会分组决定的，它到底在认证什么？把它拆成【公开的评审文本 + 可累积的评注层】，我们会失去什么、又会得到什么？