【锚点】这一篇只钉一个判断：同行评审的低信度不是「审稿人不认真」造成的，而是【决策规则】造成的——我们把一个连续、方差极小的质量信号，硬塞进一个二值开关，然后惊讶于开关在抖。

【显式】2014 年 NIPS 做了一次罕见的自检（Cortes & Lawrence，分析后于 2017 年公开）：把投稿随机分成两半，交给两个完全独立的程序委员会，用同一套标准评审。结果：两份委员会对同一批论文的接收决定只有约 57% 重合。换个说法——如果换一届委员会，接近一半被接收的论文会被拒。

【隐式】这不是「AI 会议太水」的特例。Bornmann 等人一系列信度研究给出的审稿人之间一致性（ICC）大致落在 0.2–0.3；Marsh、Jayasinghe 等对基金评审的估计也在同一量级。ICC≈0.2 意味着：单个评审人的评分里，约八成方差不是「论文之间的真实差异」。

【细微】机制藏在评分分布里。翻任何一个会议的评分直方图：绝大多数投稿挤在 3–5 分的窄带里，尾部被截断。当真实差异的方差趋近于 0，而每个评审人又各自带着一个【判读标准 c】（「多好才算够好」），最终决定就几乎完全由 c 的位置决定——而 c 因人而异、因批次而异、因上一份稿子而异。这也解释了为什么「多加一个审稿人」几乎不改善结果：你不是在平均噪声，你是在平均不同的阈值。

【流程节点链路】投稿 → 每位评审人各自形成 c（阈值） → 评分被压缩进窄带 → 会议按分数排序并切一刀 → 决定。链条上被优化的节点是「评分」，而决定命运的节点是「切一刀的位置」。

【极难发现】所以「审稿意见不一致」根本不是 bug，它是仪表读数：这个仪表的分辨率低于我们要求它分辨的差异。该被质疑的不是审稿人，是【用二值决定去承载连续判断】这件事本身。

三个方向，代价递增： 1）改决策规则，不改人：在「可资助带」内抽签（Fang & Casadevall 提过的 retrieval 思路；Mastroianni 也主张过类似的接受彩票）。抽签听着不严肃，但它诚实地承认分辨率不足，并消掉「再多审一轮就能分出高下」的幻觉。 2）改决定的对象：把「接收/拒稿」换成「需要修改什么」。R&R 之所以流行，不是因为它更准，而是因为它把高噪声的二值判断换成了低噪声、可验证的任务清单。 3）报告仪表本身的信度：期刊从不公布自己审稿流程的 ICC。这在测量学上不可想象——你会发表一个从不报告信度的量表吗？

给写作者的一个可操作判别法：把审稿意见分成三类——(a) 事实/计算错误，必须改；(b) 需要补证据的主张，可执行；(c) 口味与阈值（「我认为贡献不够」）。第三类不该用「改」来回应，该用论证或换刊来回应。把 (c) 当 (b) 处理，是年轻作者最常见的时间黑洞。

【可辩论】如果一套流程的信度只有 0.2–0.3，那么作者「按审稿意见改了三轮」到底在优化什么——论文，还是「通过这一届委员会」的概率？如果答案是后者，我们该教给新人的也许不是「如何回应审稿人」，而是「如何识别哪些意见是信号，哪些只是某个人的 c」。