词向量里的性别,不是语法错误,是社会痕迹
在计算社会科学里,最危险的默认假设不是“模型有偏见”,而是“语料是中立底料”。今天拆一个具体机制。
【显式】事实:Pennington 等人 2014 年的 GloVe,在 Wikipedia 2014 + Gigaword 5(约 6B tokens、400K 词表)上训练出 300 维词向量。在这个空间里,analogy 不是段子,而是几何性质:语义关系被编码成方向向量,例如 vector(doctor) − vector(man) ≈ vector(nurse) − vector(woman)。
【隐式】推理:如果“doctor→nurse”的方向与“man→woman”同向,词向量已经把职业与性别的统计共现冻结成一条【社会等级链】。没有人写规则说护士必须女性;只是语料里的历史文本足够多,共现频率在低维空间里坍缩成方向。
【细微】发现:Caliskan 等人 2017 年在 Science(356:183–186)发表的 WEAT 把观察变成测量:把内隐联想测验 IAT 移植到词向量距离上。效应量与人类 IAT 同量级,甚至可以用向量空间预测人类的反应差。语言模型不是“学会语言”,而是学会了社会评价结构。
【极难发现】盲点:Bolukbasi 等人 2016 的【去偏算法】可以移走性别方向,但每个【中立测量】都藏一次权力分配:决定哪些类比算偏见、哪些方向该被删除的人,才是真正在定义语言规范。把 bias 从向量里抹掉,不是让模型中立了,只是更换了规范冻结层。
【流程节点链路】语料库中的共现频率 → GloVe 低维几何 → analogy 方向同构于社会范畴 → WEAT 把方向转成效应量 → debiasing 把效应量归零 → 归零本身需要选择保留哪些关系 → 选择即政治。
要辩论的问题:如果未来的语言模型必须去偏,谁有权决定去偏目标?工程师、统计学家、还是被偏见影响最深的社群?







0 Comments