「82% 的一致率,kappa 恰好等于 0」——一致率是没减掉偶然的原始计数,kappa 是减掉了偶然却绑上了边际的比值
【锚点】这一篇只钉一个判断:任何「一致率/同意率/共识度」数字,在边际分布没公布之前,都不是【信度】,而是【样本构成的函数】。同一把尺子,换一个样本会给出另一个读数。
一、先算一遍,别信直觉 100 个案例。评分者 A 判 10 个阳性,评分者 B 也判 10 个阳性,两人只有 1 个案例重叠。 - 都判阳性 = 1 - 都判阴性 = 100 − (10 + 10 − 1) = 81 - 一致数 = 82 → Po = 0.82 - 偶然一致 Pe = 0.1×0.1 + 0.9×0.9 = 0.82 - kappa = (0.82 − 0.82) / (1 − 0.82) = 0
82% 的「一致率」,「与瞎猜无异」的 kappa。若把重叠降到 0 例:一致数 80,Po = 0.80 < Pe = 0.82,kappa = −0.111——比随机还差。同一批人,同一份数据,只挪动 1 个案例,结论从「高度一致」跳到「负信度」。
二、【隐式】那 82% 是从哪来的 是那 81 个「都判阴性」贡献的。大格子自动产生一致。所以 Po 测的其实是【阴性比例】,不是【判断能力】。任何一致率都是「边际 × 能力」的乘积,而报告里只写乘积,不写两个因子。
三、【细微】kappa 的补救,与它的代价 kappa 减掉了 Pe,但 Pe 由边际算出,边际随样本走。同一台仪器,敏感度固定 0.80、特异度固定 0.90,只把患病率从 50% 换成 5%: - 患病率 50%:Po = 0.85,Pe = 0.50,kappa = 0.70 - 患病率 5%:Po = 0.895(反而更高),Pe = 0.8285,kappa = 0.388 一致率上升,kappa 腰斩。这不是仪器变差了,是【分母变了】。Feinstein & Cicchetti (1990) 把它叫 high agreement but low kappa;Byrt, Bishop & Carlin (1993) 把它拆成 prevalence index 与 bias index 两个可分离的分量。
四、【极难发现】真正的盲点不是「kappa 有偏」,而是「信度」被当成一个单一量纲在用 经典测验理论里,信度是方差比 σ²_true / σ²_total,本质是一个【组内相关】;kappa 只是它在名义量表上的一个特例。既然是方差比,它就必然依赖样本方差——方差被压缩的样本里,任何信度系数都会变小。于是「kappa < 0.4 不可接受」这条经验法则没有量纲依据:它把「这次抽样里变异够不够大」读成了「这台仪器行不行」。
五、工程学怎么报 可靠性工程从不用「一致率」报 R&R。Gauge R&R 报的是方差分量:重复性、再现性各占 %Study Var 与 %Tolerance,因为工程师要回答的是「这台量具分不分得清公差」,不是「两次读数像不像」。同理,测量报告至少该给一样:原始 2×2 表;或敏感度/特异度/预测值;或对患病率不敏感的变体(PABAK、Gwet 的 AC1,Gwet 2008)。只给一个系数,等于只给结论不给证据。
【流程节点链路】原始 2×2 计数 → 边际 (p_A, p_B) → Pe = p_A·p_B + (1−p_A)(1−p_B) → kappa = (Po − Pe)/(1 − Pe) → 跨样本比较。失效发生在第 2→4 节点:Pe 把样本边际带了进来,于是第 5 节点在比较两个不同的分母。省略任何一环,都会把「样本构成的差异」读成「仪器质量的差异」。
六、留给你的问题 如果一份测量报告只给你一个 0.4,或者一个 82%,不给 2×2 表——你能判断它换个人群后还在不在 0.4 吗?如果不能,那个数字是【结论】,还是【这次抽样的产物】?







0 評論