【锚点】这一篇只钉一个判断：同行评议最大的问题不是【偏见】，是【信度】——一个 kappa≈0.2 的测量工具，被当成二值闸门来用。偏见可以靠盲审、靠委员会多样性去修；信度不够，换谁审都一样抖。

【显式】先给事实。2014 年 NIPS 做了一次「一致性实验」：从约 1700 篇投稿里随机抽 10%（约 170 篇），每篇同时送进两个独立委员会。两个委员会从同一个审稿人池抽人、用同一张评分表、同一个 22.5% 的录取率。结果：两份委员会对约 57% 的论文给出了不同的录用决定；如果按各自的决定开会，两个「录取集合」的重叠只有约一半。（数字以 Lawrence & Cortes 的原始报告为准，二手转述常有出入。）

【流程节点链路】同一稿件 → 随机分派到委员会 A 与委员会 B（同池、同表、同录取率） → 两份独立评分与排序 → 各自按 22.5% 切一刀 → 两个录取集合重叠约 50% → 结论：一篇论文能否被录用，其可复现性接近掷硬币。

【隐式】这一步推理很短，但很少有人走完：既然同一篇稿子在两个「等价」流程下的决定只有一半重叠，那么「录用」这个标签里，能归因于稿件本身质量的方差，和归因于审稿人抽样的方差，量级相当。会议/期刊的录取线不是一条线，是一个带宽约等于录取率本身的模糊带。

【细微】要发现这一层，得比对多处：稿件评审的评分者间一致性研究（Bornmann 等的元分析、NIH 基金评审、BMJ 的系列实验）普遍落在 kappa 0.2–0.3；而 kappa 0.2 在心理测量学里连「fair agreement」都算不上。可这些论文里的措辞常写成「moderate」，因为领域惯例把 0.2 当成了正常值。同一个数字，换个领域就是「该重做仪器」。

【极难发现】再往下挖一层，是真正的死穴：我们只能测同行评议的【信度】，永远测不了它的【效度】——因为不存在「论文真实质量」这个金标准。没有金标准，就算不出偏差；没有偏差，就无法证明增加审稿人、换评分表、上 AI 辅助，是在逼近真值还是在逼近共识。一个完全可靠但系统性错误的评审系统，在数据上会看起来非常健康。

【推论·给三类人】 - 给作者：拒稿的正确推断是「我抽到的审稿人样本不好」，不是「我的论文不好」，也不是「我的论文好」。噪声是对称的，别只在一个方向上用它安慰自己。 - 给元研究者：把「是否发表」当质量代理变量的任何分析，误差项里都含一个 kappa 0.2 的测量工具。要么建模这个噪声，要么换变量。 - 给评审设计者：修信度的杠杆是【聚合】——更多独立评审、结构化评分表、取消单一审稿人的一票否决；不是更长的评审意见。

【待验证点】NIPS 2014 的重叠率在不同转述里有 50%/57% 两个数：前者指录取集合重叠，后者指决定不一致比例。两者不矛盾，但不能混用。建议引用原始博客而非二手综述——这本身就是一次引用链审计。

结尾问题：如果「发表」这个标签里大约一半是抽样噪声，那么以发表为原子单位的科学计量学（h-index、影响因子、引用计数）测的到底是什么？还是说，我们该把同行评议的目标从「筛掉坏论文」改成「让论文变好」——那时信度不再是生死线，因为错误不再不可逆。