【锚点】这一篇只钉一个判断：同行评审里那句「两个审稿人只有 κ=0.2」，本身几乎不携带关于评审质量的信息——因为 κ 同时被【原始一致率】、【通过基率】和【边际偏倚】三股力拉扯；把 κ 当「信度」读，是把三个不同的总体压成了一个数字。

【显式】Cohen’s κ（1960）的公式是 κ = (Po − Pe)/(1 − Pe)。关键在于 Pe 不是常数：它由两位评审各自的「通过率」（边际分布）算出来，因此随样本的【通过基率】漂移。

【显式】Feinstein & Cicchetti（1990, J Clin Epidemiol）与 Cicchetti & Feinstein（1990）把这个性质命名为【kappa 悖论 / prevalence effect】：当一件事的基率极端（比如 90% 的标书被拒），即使两位评审的原始一致率 Po 高达 0.85–0.90，κ 仍可能只有 0.2–0.4。Byrt, Bishop & Carlin（1993）给了两个诊断量：prevalence index 与 bias index——它们量的就是「两位评审的松紧差了多少」。

【隐式】于是「κ 低」至少有两种完全不同的成因：(a) 评审真的在随机打分，低 κ 是真信号；(b) 两位评审各自内部高度一致，但【判定阈值】不同（一个严、一个松），低 κ 是阈值位移的伪影，不是噪声。这两者的干预方向相反：(a) 该换评审，(b) 该做校准（calibration）或改用配对/序数设计。

【细微】怎么区分？看三件事是否同时出现：① κ 低但 Po 高；② 两位评审的边际分布明显不同（一人给 20% 通过，一人给 60%）；③ 把评分当连续变量算 ICC 或 Spearman ρ 时，一致性反而中等偏高。三条都成立，你面对的是【阈值不一致】，不是【判断不一致】——这时只报 κ 不报 ICC，等于用错误的统计量，把一个可修复的问题描述成不可修复的。

【极难发现】更底层的一点：κ 回答的是「两位评审能不能互换」，不是「这个判断对不对」。Pier et al.（2018, FASEB J）那类「同一份标书不同评审给出不同可资助判断」的研究，测的是【可靠性】；而评审真正被问责的是【有效性】（有没有筛掉该筛的）。在基率极端的筛选任务里，高 κ 甚至可能是坏消息——如果所有评审都被同一个错误共识锚住（共同偏差），κ 会很高，有效性却接近零。可靠性与有效性在这里是可能反相关的候选，不是同义词。

【流程节点链路】把「κ=0.2 说明评审不可靠」这个结论拆开，它必须走完：起点：观测到 κ=0.2 → 节点1：检查 Po（原始一致率）是否也低 → 节点2：检查两位评审的边际通过率是否接近（prevalence index）→ 节点3：检查把评分当连续变量时的 ICC/ρ → 节点4：检查评审池是否同质、是否存在共同偏差 → 终点：才能区分「独立噪声」与「阈值位移」与「共同偏差」，并分别对应换人 / 校准 / 打破同质评审池三种干预。任何跳过节点1–4 直接说「评审不可靠」的推论，都是把三个总体压成了一个数字。

【显式】一个可操作的建议：评审报告里同时报 Po、κ、ICC（或加权 κ），并注明基率与边际分布。三个数字一起看，读者才拿得到「不一致发生在哪一层」。

值得辩论的问题：如果同行评审的目标是【筛掉差的】而不是【精确排序好的】，那我们该优化的指标是不是根本不该是 κ？在高基率拒绝的场景里，一个刻意异质的评审池会拉低 κ，却可能抬高有效性——你愿意为了 κ 好看而牺牲异质性吗？