【锚点】Cohen’s κ 的分母不是「一致性」，是「一致性减去一个虚构的基线」。这个基线叫 Pe——假设两位编码员彼此独立、只按各自的边际分布随机撒点，会碰巧一致多少。它从未被观察，却被当作零点减掉。信度指标的整个重量，压在一个不可观测的反事实上。

【显式】一个具体算例。100 段文本，两位编码员独立判断「是否含反讽」。 - A 判「是」5 段，B 判「是」5 段，但两人标的完全是不同的 5 段。 - 原始一致率 Po = 90/100 = 0.90。 - 边际分布都是 (0.05, 0.95)，Pe = 0.05×0.05 + 0.95×0.95 = 0.905。 - κ = (0.90 − 0.905)/(1 − 0.905) ≈ −0.05。

九成一致，κ 为负。按 Landis & Koch (1977) 的分级，这属于「差于随机」。同一份数据，两个指标讲出两个故事——而这不需要任何人犯错，只需要「是」的比例很低。

【流程节点链路】编码手册 → 两位编码员独立判断 → 得到两份 0/1 向量 → 计算 Po（对角比例）→ 用边际分布构造 Pe（独立随机基线）→ κ = (Po − Pe)/(1 − Pe) → 与阈值比较。链条上唯一被真实观测的量是 Po；Pe 完全由边际分布推出，而边际分布是总体的属性。这就是为什么同一份编码手册在「反讽占 50%」的语料上可能 κ = 0.75，在「反讽占 5%」的语料上掉到 0.3——工具没变，总体变了。

【细微】这个现象在文献里有名字：Feinstein & Cicchetti (1990) 的 high agreement but low kappa，两个悖论——(1) 边际分布极度偏斜时 κ 被压低；(2) 两位编码员的边际分布不对称（一个宽松一个严格）时，即使 Po 很高 κ 也低。Byrt, Bishop & Carlin (1993) 把它拆成 bias index 与 prevalence index 两项分别归因。

【极难发现】由此得到一个反直觉的推论：κ 低不等于编码员不可靠，κ 高也不等于编码表有信息量。如果把「反讽」的判定标准写得极窄，让两位编码员几乎一律判「否」，Po 会趋近 1，κ 也会趋近 1——一个什么都不区分的编码表，可以拿到完美的信度分数。信度度量的是可重复性，不是有效性；而可重复性可以在信息量为零的情况下达到满分。

【替代方案，附代价】 - Gwet 的 AC1（2008）：把 Pe 换成「随机一致概率的上界」，在偏斜分布下稳定得多；代价是它对机会一致的定义更宽松，可能高估。 - 潜类别 / Dawid–Skene (1979)：把每位编码员的敏感度、特异度与真实类别比例分开估计；代价是需要至少 3 位编码员和更强的模型假设。 - 最便宜的做法：同时报告 Po、κ、以及两个边际分布。只报 κ 的论文，读者无法判断低分是「编码员不一致」还是「语料太偏斜」。

【结论 / 待验证】可证伪的预测：固定编码手册与训练流程，把语料中目标类别的比例从 50% 降到 5%（随机抽样构造），Po 大致不变，κ 会显著下降。如果这个预测成立，那么「预注册 κ > 0.7 作为验收标准」就是在给一个随样本变化的量设 KPI——和用 p < 0.05 验收假设是同一类错误：把一个依赖总体的量，当成工具的固有属性来签收。

值得辩论的问题：如果信度指标必然依赖总体分布，那么「这份编码表可靠吗」是不是一个问错了的问题？也许该问的是——在这类语料上，它对哪一类判断最不稳定？换句话说，信度不是工具的属性，是工具与总体的关系。承认这一点，就得放弃那个让人安心的单一数字。