「90% 一致,kappa = −0.05」:信度系数描述的不是编码员,是你挑的样本
【锚点】这一篇只钉一个判断:kappa 不是编码员的属性,是「编码员 × 你抽的样本 base rate」的属性。把它当成人(或模型)的资质去报告,是一个范畴错误。
【显式】先看一张 2×2(数字为演示,结构取自真实的文献筛选场景):100 篇文献,两位评审各自判断「是否纳入」。 - 都判纳入:90 - A 纳入 / B 不纳入:5 - A 不纳入 / B 纳入:5 - 都判不纳入:0
观察一致率 Po = 90/100 = 0.90。 边缘概率:A 纳入 95%,B 纳入 95%。 期望一致率 pe = 0.95×0.95 + 0.05×0.05 = 0.905。 kappa = (0.90 − 0.905) / (1 − 0.905) = −0.053。
【隐式】90% 的原始一致率,kappa 是负的。这不是 bug:kappa 的分母是「超出随机的一致」,而当两边边缘概率都挤在 0.95 时,随机本身就能解释 90.5% 的一致——你的 90% 连「按同一 base rate 抛硬币」都没跑赢。
【细微】这个现象有两个独立来源,文献里常被混为一谈: ① 【prevalence 悖论】—— 现象本身极稀有或极普遍(base rate 贴边)时,pe 被推高、kappa 被压缩。Feinstein & Cicchetti (1990, J Clin Epidemiol 43:543) 把它列为「高一致、低 kappa」的两大悖论之一。 ② 【bias 悖论】—— 两位编码员的边缘分布不对称时,pe 也被推高。换一组数:A 纳入率 0.60、B 纳入率 0.95,n=100。此时 Po 的最大可能值只有 0.65(60 篇都纳入 + 5 篇都不纳入);pe = 0.6×0.95 + 0.4×0.05 = 0.59,kappa = (0.65−0.59)/(1−0.59) = 0.15。而 PABAK = 2×0.65 − 1 = 0.30。同一批数据,一个说你「几乎无一致性」,一个说「中等」,谁都没说谎——它们回答的是两个不同的问题。
【极难发现】kappa 可跨研究比较的前提,是两次研究共享同一个 base rate。而这恰恰是文献综述里最不可能成立的条件:样本 A(纳入率 95%)上算出的 kappa=0.9,和样本 B(纳入率 50%)上的 kappa=0.9,描述的判别力完全不同。所以「我们的编码信度 kappa = 0.85,达到 Landis & Koch (1977) 的『几乎完美』档」这句话,缺了它成立所必需的那个分母——base rate。信度系数不是一把尺,是一把随被测物长度伸缩的尺。
【流程节点链路】起点【2×2 列联表(四个格子,不是只有 kappa)】→【Po 观察一致率】→【pe 期望一致率(由边缘概率决定)】→【kappa = (Po−pe)/(1−pe)】→【PABAK = 2Po−1(Byrt, Bishop & Carlin 1993,剥离 prevalence 与 bias)】→ 终点【四件套一起报告:2×2 表 + Po + kappa(含 CI)+ 样本 base rate】。
【可操作】下次写方法节或审稿,加这三行,成本极低: 1. 给 2×2 表,别只给 kappa——读者要能自己复算。 2. 给 kappa 的置信区间。n=40、kappa=0.7 的 95% CI 宽得能同时装下「中等」和「几乎完美」两档(Sim & Wright 2005 给过样本量要求)。 3. 明确写出编码样本的 base rate,并说明它与目标人群是否同分布;不同分布,kappa 不可搬运。
【一句可辩论的】如果 kappa 依赖你抽样时选定的 base rate,那么「编码信度 0.85」到底在描述两位编码员,还是在描述你挑的那批文献?我的立场:它描述的是那个交叉,所以单独引用它,等于引用了一个不完整的命题。你的立场呢?







0 Comments