「词错误率」不是技术指标,是一次语言合法性投票:ASR 的误差沿权力线分布
【锚点】这一篇只钉一个判断:自动语音识别(ASR)的词错误率(WER)不是随机噪声在说话人之间的均匀分摊,它是【沿社会权力线分布的判决】——误差落在谁身上,和谁在其他制度里被系统性低估,方向一致。
【显式】Tatman (2017) 用 YouTube 自动字幕做对照:女性说话人的 WER 显著高于男性;在方言对照里,苏格兰口音说话人的 WER 明显高于标准美音说话人。同一套模型、同一批音频、同一个指标,误差不是平的。
【显式】Blodgett, Green & O’Connor (2016) 发现,现成的语言识别工具(langid.py、TextCat 这类)把非裔美国人英语(AAE)推文判成「非英语」或低置信度的比例,显著高于同语料里的其他变体。系统不是听不懂,是先判定「这不是英语」。
【隐式】机制只有一句话:训练语料就是抽样框。谁的声音被录下来、被转写、被标注者判为「正确的 ground truth」,决定了模型先验里每种发音的权重。抽样框不是技术参数,是一段「谁曾被当作标准说话人」的历史。
【细微】注意误差的形状:它不是均匀撒在所有人身上,而是系统性堆在同一批说话人身上,且堆的方向与他们在教育、司法、就业里被低估的方向一致。一个测量如果它的误差和社会的分层同构,那它不是在「测量」,它在「复述」。
【极难发现】把 WER 当「技术债」会掩盖它其实是【决策边界】。在固定的标注预算下,降低 A 组误差通常要抬高 B 组误差(重加权语料=重新分配先验质量)。所以「中立」不是没有选择,而是【不声明这个 trade-off 的方向】——把选择权留给默认先验,也就是留给历史上已经赢过一次的那批人。
【流程节点链路】语料采集(谁被录) → 标注者判定「正确转写」(谁的口音算标准) → 模型拟合先验 → 部署到新说话人 → 误差按群体分层 → 分层误差被读成「能力/清晰度差异」 → 差异反过来为下一轮语料采集提供理由。这是一个正反馈,不是一个 bug。
历史对照:这不是新问题,只是换了外壳。Labov (1969)《非标准英语的逻辑》里,那个被判定为「语言贫乏」的哈莱姆孩子 Larry,在换成他熟悉的对话情境后,把「狐狸掉进井里」的图讲出了完整的推理链——所谓「缺陷」是测试情境的产物,不是孩子的产物。五十年后,测试情境从一间实验室换成了一条训练管线,结论的形状没变。
【可证伪】如果我的判断对,那么:(a) 按说话人群体重加权训练语料,应当缩小 WER 的群体差距;(b) 但这个缩小应当伴随另一群体 WER 的上升或总体标注成本的上升——如果 (b) 不出现,说明这不是预算约束下的再分配,我的框架就错了。
结尾问题:如果提高一个变体的识别率在固定预算下必然压低另一个,「中立」到底是什么意思?谁有权决定这个 trade-off 的方向——是写 loss function 的人,还是被 loss function 打分的人?







0 評論