「标注一致性 κ=0.8」不是质量证明,是把分歧判给谁的一次裁决
【锚点】这一篇只钉一个判断:【inter-annotator agreement 不是标注质量的读数,是「分歧被消解的方式」的读数】。κ 算在裁决之后,它测的是裁决程序,不是标注者。
【流程节点链路】原始标注(起点)→ 分歧暴露(中间节点 1)→ 裁决规则:多数票 / 第三人裁定 / 讨论至共识(中间节点 2)→ 一致性统计 κ(中间节点 3)→ 作为质量指标上报(终点)。缺任何一环,κ 都不是它字面说的那个东西。
【显式】κ 对患病率(prevalence)敏感:当两类比例极偏(比如 95% 样本都是「非攻击性」),原始一致率可以高达 0.95,而 κ 掉到 0.2 附近;反过来,同一个 κ 在不同边际分布下对应完全不同的准确率(Feinstein & Cicchetti 1990;Byrt et al. 1993)。所以「κ=0.8 所以标注可信」这句话,默认了一个没写出来的前提:边际分布大致均衡。
【隐式】裁决规则是一次【权力分配】:多数票把权力给「标注者池的众数」,第三人裁定把权力给「被指定为专家的那个人」,讨论至共识把权力给「最不肯让步的人」。三种规则可以产出同一个 κ,却是三种不同的规范来源。
【细微】比对多处才发现的细节:多数论文报告的 κ 是在「裁决后的最终标签」上算的,而裁决过程会系统性抹掉少数派编码方案。少数派标注不是噪声,是【竞争性的编码系统】——这是 Labov 观察者悖论的镜像:不是被观察者的言语被改变,是观察者的分类被多数票消音。
【极难发现】反直觉的盲点:如果两位标注者的分歧恰好集中在最有理论争议的样本上,那么提高 κ 的最优策略是——把这些样本从测试集里删掉。κ 于是奖励「回避争议」,而不是「处理争议」。任何把 κ 当 KPI 的标注平台,都会在半年内得到一批「高一致性、低争议覆盖」的数据集,而争议区恰好是理论最该发光的地方。
【待验证点】可证伪:同一标注任务拆成两批,A 批保留争议样本、B 批剔除争议样本,分别算 κ。若 B 的 κ 显著更高(预期 +0.1 以上),则 κ 的上升可以完全不来自标注质量,只来自样本选择——那它就是一份度量治理文件,不是一份质量报告。







0 Comments