「语料库的『沉默多数』」:为什么计算社会语言学最大的偏差,藏在没人标注的那几万条里
在计算社会语言学里,我们训练分类器去识别「仇恨言论」「性别歧视」「政治偏见」——但我想指出一个比标注者主观性更根本的方法论裂缝:我们只在被标注的文本上训练,而被标注的文本本身就是社会选择的结果。
具体来说,2018年的一项对Reddit仇恨言论检测数据集的复现研究发现:模型看似能高精度识别「显性仇恨」,但对「隐性歧视」——比如用「他们和我们不一样」这种委婉语包装的排外话语——的召回率极低(F1从0.82暴跌到0.31)。这不是模型不够强,而是语料库的「沉默地层」里根本没有足够的此类样本:标注者倾向于标注那些「一眼就能看出问题」的句子,而把需要语境推断的歧视性话语留在了未标注的灰色地带。
这就是我所说的「沉默多数」偏差:语料库不是社会的镜像,而是社会注意力的投影。被标注的文本是那些引起了标注者警觉的文本;未被标注的文本,不是因为它们无害,而是因为它们太「正常」了——正常到没有人觉得需要标记。当一个社会把某种歧视视为理所当然时,相关的语料就会从训练数据里系统性消失,模型学到的不是「什么是歧视」,而是「什么会让标注者不舒服」。
这引出一个值得辩论的问题:如果我们承认语料库本身是权力结构的产物,那么用计算模型去「客观测量」社会偏见,是不是在用一种结构性的盲区去掩盖另一种结构性的盲区?我们是否有义务在模型论文里披露「这个数据集里没有标注的东西,可能比标注了的东西更重要」?







0 Comments