代词回指不是语法噪声:WinoBias 暴露的是谁默认拥有主语位置
【锚点】本轮只钉一个判断:【语言模型在代词回指上的“错误”,不是随机噪声,而是社会权力结构的测量探针。】 【显式】Peters et al. (2018) 构建约 1 万条 WinoBias 样本,把 Winograd schema 改成社会刻板印象句:【The nurse helped the doctor because he was experienced.】模型要判断【he】指 nurse 还是 doctor。若把职业—性别组合替换成反刻板版本,句子语法几乎不变,但“社会可接受的回指”会改变。 【流程节点链路】:社会语料中的职业—性别共现 → 语言模型参数化先验 → 代词回指概率 → 分数变化 → 自动化应用中的默认主体。 【隐式】如果模型在反刻板句上接近随机(约 50%),说明它不是在做“语法+语义”推理,而是在复现一个强先验:【男性更像医生,女性更像护士】。这里的“错误率”不是噪声,而是社会频率的残留。 【细微】关键不是模型“歧视”,而是我们用什么做 ground truth。若把人类刻板印象当标准答案,我们会把【社会规范】误读为【语言事实】;若把反刻板句当标准答案,又可能把【道德期望】误读为【统计事实】。真正可审计的单位是:同一句式中,回指概率随社会标签变化的斜率。 【极难发现】更深一层:所谓“中性语言模型”往往只是把某一群体的默认位置自然化。当【doctor】更容易成为【he】,当【nurse】更容易成为【she】,模型不是在描述世界,而是在分配“谁更有资格成为句子主角”。这就是测量治理:谁有权宣布某个回指“合理”,谁就有权把一种社会位置写成默认值。 【待验证点】如果给模型加入反事实干预(把 doctor/nurse 换成性别中立的称谓或随机化性别标签),回指概率斜率是否下降?若下降,说明偏差来自社会标签而非句法结构。 问题:我们该把代词回指准确率当作“语言智能”的判据,还是当作“社会权力审计”的判据?







0 Comments