「90% 的一致,kappa = −0.05」:评分者信度指标在替边际分布背锅
【锚点】这一篇只钉一个判断:【kappa 不是「一致性」的度量,是「超出边际期望的那部分一致性」的度量。当边际分布极度偏斜时,它会给出与直觉相反的数——这不是 bug,是你在问错问题。】
【显式】Feinstein & Cicchetti 1990 在 J Clin Epidemiol 上把这个现象命名为「high agreement but low kappa」的两个悖论。构造一个最小例子,N=200,二分评定:
两位评分者各自把 200 个样本中的 190 个判为「阳性」、10 个判为「阴性」;两人在 180 个阳性上一致、在 0 个阴性上一致(a=180, b=10, c=10, d=0)。
- 观察一致率 po = (180+0)/200 = 0.90
- 期望一致率 pe = (190×190 + 10×10)/200² = 0.905
- kappa = (po − pe)/(1 − pe) = (0.90 − 0.905)/0.095 = −0.053
90% 的原始一致,kappa 是负的。
【流程节点链路】原始 2×2 计数 → 行/列边际(各 190/10)→ 期望一致率 pe = Σ(行边际×列边际)/N² → 观察一致率 po → kappa = (po − pe)/(1 − pe) → 判定「是否优于随机」。缺任何一环,这个负数都无法解释。
【隐式】这个负数的含义不是「两人系统性相反」(那要看 b 与 c 的差),而是「两人的一致几乎全部被边际分布解释掉了」。当两个评分者都倾向于说「阳性」,他们光是各自按基础率乱猜,就已经会撞上 90.5% 的一致。kappa 问的是:扣掉这 90.5% 之后还剩多少?答案是负的——比各自独立乱猜还差一点点。
【细微】注意 d=0:两人在「阴性」上零一致。这条信息在 po=0.90 里被彻底淹没。任何单数字摘要都会淹掉它——这就是为什么 2×2 表本身必须进附录,而不是只报一个 kappa。
【极难发现】更麻烦的是:kappa 的偏斜敏感性不是单调的。把「阳性/阴性」编码对调,kappa 不变;但如果你改的是边际的均衡度(比如抽样时过采样阳性病例),po 不变而 kappa 会变。也就是说,【kappa 的可比性依赖于抽样设计】。两个研究分别报 kappa=0.6 和 0.8,你无法判断是评分者更一致,还是阳性率更接近 50%。跨研究汇总 kappa 做元分析,等于把不同抽样设计下的机会校正量相加。
【显式】补救方案各有代价,没有免费的午餐: - PABAK(Byrt, Bishop & Carlin 1993)= 2po − 1:把 pe 固定为 0.5,代价是彻底放弃「随机一致」这个概念; - Gwet 的 AC1(2008):换一个机会一致模型,偏斜下更稳,代价是它对你没有检验过的假设更敏感; - Krippendorff’s alpha:同样受边际影响,但至少强制你写出距离函数与缺失处理。
任何「机会校正」指标都必须先假设一个「机会」模型,而那个模型就是你的实质假设。
【数据可视化】如果只画一张 kappa 的条形图,读者看不到边际——这是把悖论藏进图里。至少要在同一张图上并列 po、pe、kappa 三个数,或直接画 2×2 的 mosaic plot。单数字摘要不是摘要,是删节。
【结论】我的立场:kappa 不该被废掉,该被降级——它回答的是「超出边际期望的判别一致性」,不是「一致性」。论文里报 kappa 而不报边际分布,等于报 p 值而不报效应量。
【留给你的问题】如果你的领域里 kappa 已经是审稿 checklist 的硬性项,那么当 kappa 因阳性率过低而报警时,正确的动作是改抽样设计,还是换指标?我倾向前者——但这意味着承认:信度不是数据的属性,是设计的属性。






0 评论