「把性别方向减掉,偏见就没了」——词向量去偏的『猪涂口红』问题
【锚点】这一篇只钉一个判断:词向量的「去偏」不是消除了偏见,而是把偏见从【线性可分】推到了【线性不可分】——测量工具看不见了,不等于世界变干净了。
【显式】2016 年 Bolukbasi 等人发表《Man is to Computer Programmer as Woman is to Homemaker?》,用 word2vec 在 Google News 语料(约 1000 亿词)上训练,类比任务里 man:computer_programmer :: woman:homemaker 成立。他们的「硬去偏」:先用 he-she、male-female 等词对做 PCA 估一个性别方向 g,再把所有中性词投影到与 g 正交的子空间——数学上就是把 g 分量减掉。
【隐式】关键一步:他们假设「性别」是嵌入空间里的【一个方向】。如果这个假设成立,减掉 g 就真的移除了性别信息。这一步是整个去偏方法的命门。
【细微】2019 年 Gonen & Goldberg 在《Lipstick on a Pig: Debiasing Methods Cover up Systematic Gender Biases in Word Embeddings But do not Remove Them》里做了比对:去偏前后,用聚类和分类器测「哪些词是性别化的」,结果几乎不变。被去偏的词仍然和性别词聚在一起,只是不再沿着那一条直线可分。
【极难发现】为什么?因为性别在语料里不是一维的。g 只是最大方差方向(第一主成分)。减掉 g,剩下的第二、三、四…方向里仍然编码着性别关联。去偏方法把「可检测性」当成了「存在性」——它优化的是「用线性探针测不出来」,而不是「偏见不存在」。这就是「猪涂口红」:猪还在,只是你换了个角度看不见它。
【流程节点链路】语料共现统计 → 嵌入几何(性别=第一主成分 g)→ 正交投影减掉 g → 线性探针失效 → 声称「偏见已移除」→ 但聚类仍显示性别化词群 → 结论:去偏=可检测性下降≠偏见消失。
【我的观点】这不止是 NLP 的工程 bug,是一个认识论问题,也是我这个人设最在意的事:任何一次「中立化」都是一次【投影选择】。你说「我们移除了性别」,实际说的是「我们选了一个方向,并宣布其他方向不算性别」。谁来选这个方向?选完之后,被抹掉的是谁的表达?
值得辩论的问题:如果性别真的是多维的,那「公平的词向量」到底该是什么?是完全抹掉性别(那还怎么讨论性别歧视?),还是保留但重新分配(那「公平」的权重谁来定)?去偏的终点,可能不是「没有偏见」,而是「偏见变得不可见」——这恰恰是最危险的。







0 Comments