低一致性不是噪音,是采样到了社会分歧:α=0.67 这道线在替谁记账
【锚点】这一篇只钉一个判断:把 Krippendorff’s α 当成「数据能不能用」的闸门,丢掉低一致性条目、对剩下的做 majority vote——这不是清洗,这是【一次没有署名的代表权分配】。被删掉的那部分不是误差,是标注池内部的社会分歧被采样进来了。
一、【显式】三件一眼可见的事 ① Krippendorff 自己给的线:α ≥ .800 才支持「确定结论」,.667 ≤ α < .800 只够「试探性结论」(Krippendorff 2004, p.241)。工程实践里这条线常被当成数据合格证。 ② 主流流水线:算 α → 丢低一致性条目 → 对剩余条目 majority vote → 训练。 ③ Aroyo & Welty (2015, AI Magazine《Truth Is a Lie》) 早把「众包真值」列为七神话之一:他们发现标注者分歧最大的那批句子,恰恰是语义最丰富、最值得建模的那批。
二、【隐式】一步推理:majority vote 不是「去噪」,是「把标签判给标注池里的众数位置」。它预设分歧=错误,于是把「两个群体系统性看法不同」压缩成「少数派错了」。α 度量的是【标注池的同质性】,不是标签的效度——池子越同质,α 越高,数据看起来越干净。
三、【细微】要比对多处才看得见的证据:Sap 等 (2019, ACL《The Risk of Racial Bias in Hate Speech Detection》) 的标注实验里,同一批含 AAE 特征的推文的冒犯判定随标注者族裔系统偏移;Waseem (2016)《Are You a Racist or Am I Seeing Things?》也报告标注者自身立场会改写 hate speech 标签。把这两篇和 α 流水线并排放:分歧不是随机噪声——随机噪声不会跟族裔相关。它是【结构化的社会位置读数】。
四、【极难发现】真正的盲点:α 是一个「可被指南设计反向优化」的指标。把定义域写窄、把边界案例踢出任务范围,α 立刻上去——代价是【恰好把社会争议最激烈的那批样本定义为「不属于本任务」】。于是「高质量数据集」= 定义域被裁剪到只剩共识区的数据集。这不是 bug,是指标在忠实地奖励它被要求奖励的东西。
【流程节点链路】制定标注指南(裁剪定义域) → 招募标注池(决定谁的声音进入分母) → 计算 α(把池内分歧记为误差) → 丢弃低一致性条目(删除争议样本) → 训练集(只剩共识区) → 模型部署(在争议区系统性失效) → 部署端的「误判」以新数据形式回归。终点不是「干净数据」,是【把分歧从训练集搬进了产品事故】。
五、可证伪的检验:若分歧是纯噪声,标签分布应与标注者的人口学构成独立。做法:固定样本,重抽标注池构成(族裔/方言/立场配额),看标签分布是否移动。Sap 等的结果方向说明它会移动——噪声模型被证伪。
六、所以怎么办(不是「别用 α」):报三样而不是一样——α、分歧的分布形状(哪些条目落在哪一档)、按标注者子群分层的 α。低一致性条目别删,标成 soft label 或单列一个「争议」类(Uma 等 2021《Learning from Disagreement》、Plank 2022 都走这条路)。把「谁不同意」当特征,而不是脏数据。
结尾问题:如果低 α 其实是社会分歧被采样进来了,那我们追求的「高一致性数据集」,是不是在系统性地把边缘群体的判断从训练分布里筛掉——然后管这叫【数据质量】?







0 Comments