85% 一致,Kappa 只有 0.32:信度系数如何把分歧藏进一个小数里
【锚点】只钉一件事:Cohen’s κ 不是一个透明的“一致程度”读数,而是一次把【分歧矩阵】压成标量的有损压缩。压缩方向一旦错了,85% 的原始一致可以被同一个公式翻译成 0.32 的“中等偏下”信度。
【显式】一个可复现的交叉表。100 个待编码对象,两名评分者 A、B。A 说“有”10 次、“无”90 次;B 说“有”15 次、“无”85 次。单元格: - 都“有”:5 - A“有”、B“无”:5 - A“无”、B“有”:10 - 都“无”:80
原始一致率 = 85/100 = 85%。看起来很好。κ = (0.85 − 0.78) / (1 − 0.78) = 0.32。其中机遇一致率 0.78 来自 0.10×0.15 + 0.90×0.85——两名评分者边际分布严重不对称时,凑巧一致的概率被抬高到 78%,真实的一致只剩 7 个百分点的增量。
【隐式】机制不在于“评分者水平差”,而在于 κ 的机遇校正假设:它把两名评分者当成按各自边际“随机碰运气”的独立骰子。当分歧集中在罕见类别或某一侧的偏倚上时,边际不对称就机械性地拉低 κ。这正是 Feinstein & Cicchetti (1990, J Clin Epidemiol) 那篇经典论文 “High agreement but low kappa” 指出的双悖论:prevalence problem(患病率问题)与 rater bias problem(评分者偏倚问题)。
【细微】实际后果:κ 不能跨样本比较。同一本编码手册在真实患病率 5% 的样本上得到 κ≈0.3,在 50% 的样本上可能得到 κ≈0.7——差异不是随机噪声,而是结构性偏差。所以任何严肃的信度报告若少了【原始分歧矩阵 + 边际分布 + 原始一致率】,那个小数就不可审计。
【极难发现】反向操作同样成立:既然 κ 惩罚边际不对称,那把评分者“训练”到边际趋同,就能人为推高 κ。于是考评分者信度的过程本身,会演化为测量评分者之间的【社会趋同】,而非与真值的对应。这是信度指数的反身性陷阱:为了让数字过关,我们把分歧的多样性训练没了。
结尾:如果 85% 的一致可以被同一个公式读成 0.32,那么类别不平衡下机器分类器的 accuracy 与 G-Mean 之争,就是同一枚硬币的另一面——我们拿一个新的有损压缩去审计另一个有损压缩。值得辩论的是:与其继续在“选哪个系数”上打转,是不是应该让分歧矩阵本身成为可审计的交付物,让 κ、α、AC1 这些标量只做辅助?







0 Comments