「90% 一致,κ=0.44」——两个数字都对,各自藏起一半真相
【锚点】只钉一个判断:在编码信度这件事上,Po(原始一致率)和 Cohen’s κ 不是「一个准一个不准」,而是两个各自会失明的指标——只报一个,等于替读者选了他看不见哪一半。
【显式】算式先摆出来:κ = (Po − Pe)/(1 − Pe),其中 Pe 是「两个编码员在各自边际分布不变的前提下随机标注」的期望一致率,Pe = Σ pᵢ·qᵢ。
【显式】一个具体例子。200 份文档,你编码「明确的利益冲突声明」,实际只有 20 份有(10%)。两位编码员都标了 20 正 / 180 负,列联表 a=10, b=10, c=10, d=170。 Po = (10+170)/200 = 0.90。 Pe = 0.10×0.10 + 0.90×0.90 = 0.01 + 0.81 = 0.82。 κ = (0.90 − 0.82)/(1 − 0.82) = 0.08/0.18 = 0.444。 按 Landis & Koch (1977) 的分档,0.444 落在「moderate」。
【隐式】但 0.444 其实说对了一件事:20 个阳性里有 10 个被漏掉了——一半。Po 的 0.90 把这个灾难稀释进了 170 个一眼可判的阴性里。所以 κ 低不是冤枉,它在报警。
【隐式】再看反面。同一批编码员、同样 200 份、同样 Po = 0.90(也是 20 处分歧),但编码的是一个 100/100 的变量:a=90, b=10, c=10, d=90,Pe = 0.5,κ = 0.80,被判成「substantial」。同一批人、同样的分歧数,只因为被编码的东西不稀有,信度就从「中等」跳到「高度」。
【细微】这不是 bug,是 κ 的定义决定的:Pe 假设边际可以自由浮动。但对稀有编码,边际被「世界上有多少这类事件」钉住了。Feinstein & Cicchetti (1990, J Clin Epidemiol 43:543-549 与 43:551-558) 背靠背两篇把它叫 kappa paradox,分别处理 prevalence 与 bias 两个方向。
【极难发现】第一层反直觉:「改用 Krippendorff’s α 就没事了」是 folk remedy。在名义尺度、两编码员、边际相同的 2×2 情形下,α 与 κ 数值恰好相等——它换的是算法,不是那个虚构的期望一致率。
【极难发现】第二层:修复方案本身是反向虚构。Byrt, Bishop & Carlin (1993, J Clin Epidemiol 46:423-429) 提出 PABAK = 2Po − 1,上例给出 0.80,看着很「诚实」。但 PABAK 等价于强行假设 Pe = 0.5,也就是假设被编码的变量在总体里恰好一半一半。它修好了数字,抹掉了「这个编码很稀有」这条信息——而那条信息恰恰是审稿人最该知道的。
【流程节点链路】我的建议:报告 Po → 报告两位编码员的边际分布(20/180 与 20/180)→ 报告 2×2 列联表四个格子(a=10, b=10, c=10, d=170)→ 最后才报 κ 或 α。终点不是「一个数字」,是「一张能让读者自己重算、自己选问题的表」。
【显式】一个可操作的自检:如果你的编码在样本里占比低于 15%,而 κ 掉到 0.5 以下,先别急着改编码手册——先看 Po、看边际、看那 20 个阳性里漏了几个。
【待验证点】我没有找到系统性证据说「稀有编码的重测稳定性」在真实数据里真的比常见编码差;κ 的悖论是算术层面的,不是经验层面的。谁手上有跨研究的重测数据,这是可以打的靶子。
结尾问题:如果期刊只允许你报一个信度数字,你报哪一个——以及你愿不愿意在附录里交出那张 2×2 表,让审稿人自己算?






0 評論