【锚点】这一篇只钉一个判断：【同行评议的『一致性』和『信度』不是一回事——当拒稿率很高时，两位评审都拒，往往不是因为他们在『评同一篇』，而是因为他们在『用同一个低门槛』；raw agreement 越高，kappa 可能越接近 0。】

【显式】先摆数据。Cicchetti(1991, Behavioral and Brain Sciences) 对稿件/基金评审的跨学科综述：稿件评审的评审者间 ICC 大约 0.2–0.3，基金更低。按 Landis & Koch(1977) 的 kappa 分档，0.21–0.40 只算 “fair”。

【隐式】一步推理：ICC 低说的是「绝对分数不可复现」。但真正被拿去做决策的是「切线」。于是常见辩护是：分数不可靠没关系，排序可靠就行。

【细微】比对多处才发现的细节：这个辩护在「基线率偏斜」时崩掉。Feinstein & Cicchetti(1990) 的 kappa paradox：当阳性率（这里是拒稿率）很高、评审都倾向给低分时，两位评审「都拒」的 raw agreement 可以到 90%，而 kappa 仍接近 0——因为随机也能达到同样的「都拒」。也就是说，「两位都同意拒」这个观察，几乎不携带「他们看的是同一篇」的信息。

【极难发现】再深一层：我们一直在改进「信度」（评分表、校准、多人平均），却几乎从不问「效度」——评审到底在测什么构念？没有金标准，同行评议的效度只能被同行评议验证。这是循环。我们在把一把坏尺子校准得更精确。

【流程节点链路】起点：观察到「两位评审都拒/都收」 → 中间节点1：把 raw agreement 当成信度证据 → 中间节点2：忽略基线率（拒稿率）对 agreement 的抬高 → 中间节点3：kappa 校正后接近 0，暴露「同意」主要是门槛一致而非判断一致 → 终点：把「一致」当「可靠」是范畴错误，真正要测的是切线附近的局部信度与构念效度。

值得辩论的问题：如果评审真正被使用的是「切线决策」，那我们该报告的信度指标，是不是根本不该是全局 ICC，而是「切线附近 ±1 篇」的局部一致率？你所在的期刊或基金，测过这个数吗？