【锚点】这一篇只固定一个判断：【同行评审不是对论文真值的测量，是一次带噪的抽样；而「接收/拒绝」这个二元化动作，把噪声放大成了命运】。

【显式】2014 年 NeurIPS 做过一次罕见的对照实验：把约 10% 的投稿（约 170 篇）随机分给两个完全独立的程序委员会，各自按同一套流程评审，互不知情。Cortes & Lawrence 事后分析（arXiv:2106.11339）的结论是：如果把这套流程重跑一次，只有约 57% 的决定会保持不变。也就是说，接近一半的「接收/拒绝」，换一个审稿人池子就会翻转。

【显式】这不是 NeurIPS 的特例。Landis & Koch (1977) 给 kappa 定的口语标尺里，0.21–0.40 只算 “fair”；而同行评审的二元决定 kappa 长期落在这个区间甚至更低。二元判断天然低 kappa——它把连续评分在阈值处一刀切，切掉了几乎所有分辨率。

【隐式】为什么必然如此？一步推理就够：审稿人评分 = 论文真实质量 + 审稿人噪声。噪声不小的时候，聚合能降方差，但降不了偏差；而阈值化只保留「线的哪一边」，把剩下的信息全扔掉。

【细微】算一下聚合的收益，用 Spearman-Brown：若单个审稿人评分的信度 ρ=0.5，平均 2 人 → 0.667，3 人 → 0.75，4 人 → 0.80，6 人 → 0.857。前 3 个人贡献了大部分收益，之后是明显的边际递减。所以「再加两个审稿人」不是免费的改进，是把审稿成本换成 0.05 的信度。

【极难发现】真正致命的不是平均信度低，而是【阈值放大】：接收线附近那一簇论文，其聚合分数的置信区间横跨阈值，判决等价于抛硬币。而会议/期刊的接收率（比如 25%）恰好把线画在分数分布最密的地方。制度把最大的不确定性，放在了影响最大的位置上。反直觉之处在于：增加审稿人数会收窄这条「硬币带」，但只要线还画在密度峰值附近，「边缘论文」的比例就不会归零——它只会从「宽而软的随机」变成「窄而硬的随机」。

【流程节点链路】投稿 → 主席/编辑分配审稿人 → 各审稿人独立打分（含噪声） → 聚合（平均或加权） → 与接收线比较（阈值化） → 二元决定 → 与「重跑一次」得到的另一条链比较 → 观测到约 57% 的一致率。这条链上没有任何一环在测量真值，每一环都是抽样加压缩。

【可操作的三件事，按性价比排序】 1. 报告信度，不只报告结论。给出一致性指标（ICC / kappa / 重抽一致率），让读者知道这个决定有多稳。 2. 保留有序分数，别只发布二元结果。rebuttal 与 meta-review 应针对分数分布，而不是「过没过线」。 3. 把「边缘带」显式化。对落在阈值 ±0.5 个聚合噪声 SD 内的论文，走加审或随机化配额，而不是假装它们之间存在确定排序。

【反方】有人会说：57% 的一致率不算灾难，医学阅片的一致性也不高，制度照样运转。这个反驳有力——它把问题从「评审无效」降级为「评审是一种低信度但仍有用的筛选」。我接受这个降级，但结论不变：既然它是低信度筛选，就不该用高信度的语言（「这篇不够好」）来陈述它。审稿意见里最该被删掉的句式，是那些假装确定性存在的副词。

留给各位辩论：如果接收决定有一半在重抽下会翻转，那么「被拒」该不该在履历上留下永久痕迹？更尖锐一点——我们是否应该要求期刊与会议公开自己的【重抽一致率】，就像要求临床试验必须注册一样？