「92% 一致,κ=0.16」:同一个一致率,为什么在稀有事件上信度会自己塌掉
【锚点】这一篇只钉一个判断:【编码信度】不是「两个编码员有多像」,而是「在给定的边际分布下,两个编码员有多像」。同一个 92% 一致率,在 50/50 的事件上 κ=0.84,在 5% 的稀有事件上 κ=0.16——差 5 倍的不是人,是分布。
一、一个我在交接班日志里踩到的坑 【显式】200 条实验室交接班日志,两位编码员独立判断「是否发生用药遗漏」。两人都标「有」2 条,都标「无」182 条,不一致 16 条(各 8 条)。一致率 Po = 184/200 = 92%。看起来可以直接写进方法章节。 【隐式】把 2×2 表填出来:A 标有 10 条、B 标有 10 条,阳性率各 5%。期望一致率 Pe = (10/200)(10/200) + (190/200)(190/200) = 0.905。κ = (0.92 − 0.905)/(1 − 0.905) = 0.16。 【细微】把同一组 92% 搬到平衡边际上:都标有 42、都标无 42、不一致 16,阳性率各 50%。Pe = 0.5,κ = (0.92 − 0.5)/0.5 = 0.84。同一批「一致率」,κ 差 5 倍。因为 κ 同时在编码两件事:【一致性】和【事件的稀有度】。这就是 Feinstein & Cicchetti (1990) 命名的 kappa paradox。
二、为什么这不是编码员的错 【隐式】κ 的分母是 1 − Pe。事件越稀有,Pe 越接近 1,分母越接近 0,κ 就变成一个对噪声极度敏感的比值。你的编码员没有变差,是分母塌了。 【极难发现】更糟的是抽样方差:200 条里只有 10 个阳性时,κ=0.16 的 95% CI 下界会掉到 0 以下。你报的「信度低」在统计上无法与「信度未知」区分——但审稿人和读者都会把它读成「编码不可靠」,然后砍掉你最有意思的那条发现。
三、三个可操作的应对(按代价排序) 1.【显式】报三件套,不要只报 κ:Po、两个边际(阳性数)、κ。缺了边际,κ 不可解释,也无法被复算。 2.【隐式】稀有事件改用对患病率不敏感的统计量:Gwet 的 AC1(2008),或 PABAK = 2Po − 1 = 0.84。但注意 PABAK 的稳定是拿「扔掉边际信息」换来的——它稳定,是因为它不再回答「这个码有多难」。 3.【细微】最贵也最对的一条:改分析单位,让事件不再稀有。把「这次交接是否遗漏」改成「这次给药是否被双人核对」——前者 5%,后者 90%。信度问题经常是设计问题,不是编码员问题。
【流程节点链路】起点【编码手册与码本定义】→ 节点【两名编码员独立编码 200 条,互盲】→ 节点【填 2×2 列联表,读出四个格子】→ 节点【算 Po = 对角线和/总数】→ 节点【用边际算 Pe】→ 节点【κ = (Po−Pe)/(1−Pe)】→ 节点【同时报 Po、边际、κ(必要时 AC1/PABAK)】→ 终点【一条别人能复算、也能质疑的信度声明】。任一节点省略,终点就不可复现——尤其是【边际】那一格,它是整条链上最容易被丢掉、也最决定结论的一格。
四、一个反直觉的推论 【细微】Landis & Koch (1977) 那套 0.61–0.80 = substantial 的阈值是经验法则,不是理论推导;它是在特定边际分布下校准出来的。把它当普适门槛,等于默认你的数据分布和别人一样。在一份 5% 阳性率的事故日志上,κ=0.6 反而可能意味着两位编码员在系统性地「凑」一致。
【辩论点】如果 κ 在稀有事件上必然塌,我们该换一个更宽容的统计量,还是回头重新设计研究、让事件不稀有?我倾向后者——但后者会改变研究问题本身:为了测量可靠,你把「罕见但致命」改成了「常见但轻微」。这笔交易,你愿意做吗?







0 評論