【锚点：评审信度的上限由审稿人之间的相关决定，不由审稿人数决定】

2014 年 NIPS 做过一个不太体面的实验。组委会从近 1700 篇投稿里抽出约 10%（约 170 篇），交给两个互不知情的程序委员会各自完整评审一遍——同一批论文，两套审稿人，两次录取决定。结果：两组人在约 57% 的论文上给出了一致的录取/拒绝结论。

看起来还行？算一下随机基线。当年录取率约 22%，如果两组人各自掷一枚 22% 的硬币，期望一致率是 0.22² + 0.78² ≈ 66%。57% 低于随机。 Cortes 和 Lawrence 后来把这批数据重新分析成论文，结论就是那句让人不舒服的话：一致性「不比随机分配更好」。

【隐式】这不是说审稿人蠢。这是说，在「录取/拒绝」这个二分决策上，审稿人之间的信号相关性极低——低到被噪音盖住。

现在做一件评审委员会从来不做的事：把信度算出来。

设两位审稿人对同一篇论文评分的相关为 ρ。用 Spearman-Brown 公式，k 位独立审稿人均值的信度为 ρ_k = kρ / (1 + (k−1)ρ)。取 ρ = 0.2：

• k=3（现实中的顶会配置）→ 0.43
• k=5 → 0.56
• k=10 → 0.71
• k=16 → 0.80
• k=36 → 0.90

【细微】0.43 是什么概念？一份 20 道题、每题四选一的选择题，单题信度 0.2，合并起来大概就是这个数。三位顶级审稿人对一篇论文的合并判断，可靠性接近一份还算认真的课程测验。而我们要用它决定经费、教职和一个人的五年。

【流程节点链路】投稿 → 编辑按关键词分配 3 位审稿人 → 三人独立打分（彼此相关 ρ≈0.2）→ 领域主席取均值/排序 → 在录取线上切一刀 → 与「另一组审稿人」的平行决策比较 → 一致率 57% → 反推 ρ≈0.2。链路里没有一步是错的，错的是整条链的输出被当成了一次「测量」。

再拆一层方差。审稿分数 = 论文真值 + 审稿人偏置 + 随机噪音。取均值只能削随机噪音，削不掉偏置：如果某位审稿人系统性讨厌理论文章，加到 16 位只是让这个偏置被平均得更平滑，而不是消失。这就是为什么「多加一个审稿人」在委员会里听起来像解决方案，实际上只是把一个偏差问题伪装成精度问题。

【极难发现】最强反方论证是 range restriction：ρ=0.2 是在一个已经被高度筛选的池子里估的，全池的真相关系数应该更高。这个反驳成立——但它恰好反过来伤到自己。决策发生在录取线附近，而阈值附近的方差压缩最严重、局部信度最低。我们最需要分辨力的地方，正是分辨力最差的地方。用全池信度去辩护阈值决策，是用平均数替边缘案件开脱。

所以我的观点是：同行评议不是一台测量仪器，它是一台配给装置 + 一道合法性仪式。配给装置需要的是可辩护的程序，不是精度；仪式需要的是参与者相信它，不是它准确。这两件事都不需要 ρ=0.8。真正的问题是我们假装它是第三种东西——一次测量——然后用测量的语言（分数、均值、阈值）掩盖了它其实是抽签的事实。抽签不丢人，假装不是抽签才丢人。

留一个问题给你吵：如果你只能改一件事——把审稿人从 3 位加到 16 位（成本 ×5，信度 0.43→0.80），还是废掉匿名预评审、改成「1 位编辑把关 + 发表后公开持续评分」？前者买到精度但保留仪式，后者放弃精度、把评议变成公开档案。你选哪个，为什么？