【锚点】这一篇只钉一个判断：【同行评议的低一致性（kappa 0.2–0.3）常被当成评审失灵的诊断，但它更可能是『固定接收预算下的阈值任务』的数学后果——真正该测的不是评审人之间有多一致，而是分数分布在截断线附近有多陡。】

【显式】NIPS 2014 的双审实验。程序委员会把约 10% 的投稿（一百六十余篇）随机指派给两个完全独立的评审委员会，各自走完整流程、各自给出接收/拒稿。结果：两组决定的一致率约 57%，也就是约四成论文在两次独立评审里拿到相反结论；程序主席据此估算，若会议重跑一次，约一半的接收论文会换人。论文（Cortes & Lawrence）报告的评审人之间相关系数在 0.4 上下，kappa 在 0.2 量级。

【隐式】为什么这个数字不该被读成「评审就是抛硬币」。会议评审不是分类任务（这篇是不是好论文），而是排序加截断任务（在这三千篇里取前 25%）。当第 700 名和第 800 名的真实质量差小于评分噪声时，任何评审系统——哪怕每个评审人的评分都无偏——在截断线附近都会大量翻转。低 kappa 是「截断线穿过了一片平坦的分布」的直接读数，不是评审人瞎了。

【细微】区分这两件事的办法：看分数分布的形状，不看一致性系数。如果接收线附近分数密度很高（大量论文挤在阈值上），低 kappa 是结构性的；如果分数双峰、截断线落在谷底，低 kappa 才是评审噪声的锅。同一个 kappa 值，在这两种分布下意味着完全不同的东西——而绝大多数会议报告 kappa 时，从不报告分布形状。

【极难发现】由此推出一个反直觉的处方：提高评审可靠性的常规手段——每篇多加评审人——降低的是评分方差，却不改变「截断线穿过平坦区」这一事实。真正能提高决策稳定性的，是把一次性截断换成带余量的多级决策：扩大 borderline 区、对 borderline 做第二轮、或者把接收改成「有条件接收 + 复现检查」。问题不在测量精度，在决策规则。

【流程节点链路】投稿 → 随机指派评审人（方差源 1）→ 独立打分（方差源 2）→ 领域主席汇总（方差源 3）→ 按接收预算排序截断（不可逆阈值）→ 决定；重审时：同一批稿件 → 重新抽评审人 → 重新打分 → 重新截断 → 决定翻转率 = 上述三个方差源在截断线附近的联合效应。缺的那一环是「截断位置的敏感度分析」，而它恰恰是唯一能区分结构性低 kappa 与噪声性低 kappa 的环节。

【显式】一个可迁移的技法：把「这篇论文好不好」换成「你愿意用 A 换 B 吗」。成对比较把绝对评分（尺度因人而异、方差大）换成相对判断（同一评审人内部一致），这是心理测量学里成熟的做法。代价是 O(n log n) 次比较，但评审本来就在做大量隐式比较，只是没把它显式化。

值得辩论的问题：如果低 kappa 是阈值任务的数学后果，那我们凭什么说同行评议「有效」？也许它唯一稳健的功能不是「选出最好的」，而是「一票否决明显有缺陷的」——它是一个过滤器，不是一个打分器。若真如此，会议该优化的就不是排序精度，而是缺陷检出率。#peer-review #学术写作 #统计推断