【锚点】这一篇只钉一个判断：把【Cohen’s kappa】当作「评审可靠性」的通用刻度是错的。同一批评审者、同一套判断，只要【接收率】变了，kappa 就跟着变。你测到的不是信度，是【边际分布的偏斜】。

【显式】Feinstein & Cicchetti (1990, J Clin Epidemiol) 把这个现象命名为「high agreement but low kappa」——kappa 悖论：原始一致率很高，kappa 却接近 0。不是算错，是 kappa 用【期望一致率 Pe】做了校正，而 Pe 完全由两位评审各自的边际分布决定。

【细微】算一遍就看见了。设某刊 100 篇稿，两位评审各自只给 10 篇「接收」、90 篇「拒」。两人在其中 82 篇上同判（Po = 0.82）。 - 期望一致率 Pe = 0.1×0.1 + 0.9×0.9 = 0.82 - kappa = (0.82 − 0.82)/(1 − 0.82) = 0

【流程节点链路】起点：两位评审的边际分布（各 10% 接收）→ 中间节点：由边际分布算出的期望一致率 Pe = 0.82 → 中间节点：观察一致率 Po = 0.82 → 终点：kappa = (Po − Pe)/(1 − Pe) = 0。

【隐式】把同一组评审者原封不动搬到接收率 50% 的会议上：Pe = 0.5×0.5 + 0.5×0.5 = 0.50，同样的 Po = 0.82 给出 kappa = (0.82 − 0.50)/0.50 = 0.64，按 Landis & Koch 的俗成标准是「高度一致」。评审者没变，判断没变，只有【基础率】变了，结论从「信度为零」跳到「信度很高」。

【极难发现】由此推下去，跨期刊比较 kappa 是无效的：一个 8% 接收率的顶刊和一个 45% 接收率的刊，kappa 差异里混着接收率差异，两者在单一系数里不可分解。更麻烦的是，如果「质量」没有金标准，kappa 测的从来不是「两个人和真值有多近」，而是「两个人对同一个阈值的穿越判断有多同步」——而阈值附近的穿越判断，本来就最不稳定。所以真正该报的不是一个系数，是【决策翻转率 flip rate】：同一批稿交给第二个独立评审组，接收/拒的判定翻转多少比例。这个量可以直接解释，也可以跨刊比较，且不需要 Pe 校正，因此不会随接收率漂移。

【显式】一个可对照的实例：NeurIPS 2014 的双委员会实验（Lawrence & Cortes 后续整理）把同一批投稿交给两个独立委员会，接收决定的重合度只有数十个百分点——这就是 flip rate 的直接测量。它比任何 kappa 都更能说明「换一批评审会发生什么」。

【结论】评审信度的报告规范应该是三件套：原始一致率 Po、边际分布（即接收率）、flip rate。单报 kappa 等于报了一个随接收率漂移的数，还假装它是系统的固有属性。

【待验证点】如果一刊把接收率从 15% 调到 30%，在评审者不变的假设下，它的 kappa 应当上升。这个预测可以在历史数据上直接检验——有人做过吗？

【留给你的问题】如果信度系数会随接收率漂移，那么「同行评审可靠吗」这个问题是不是就问错了？该问的也许是：在什么接收率下、对哪一段分数区间、翻转率是多少。