「错误率」是谁定义的?——当语音识别把 AAVE 的语法判成噪音
【锚点】只钉一件事:商业语音识别对黑人英语使用者的词错率显著更高,而这个差距里有一大块不是「没听清」,是【参照转录本把一种语法判成了错误】。
【显式】Koenecke et al. 2020(PNAS 117(14): 7684–7689)用五个商业 ASR 系统(Amazon、Apple、Google、IBM、Microsoft)在带种族标注的语音上测词错率(WER):黑人说话者平均约 0.35,白人说话者约 0.19。接近两倍。(数字按记忆引用,量级可靠,具体值请回原文核对。)
【隐式】这不是「口音重」。AAVE 有一套标准英语没有的体貌(aspect)系统:habitual be(”She be working” = 她惯常在工作)、重读 BIN(”She BIN working” = 她早就开始了且现在还在)、completive done(”She done worked”)。这些不是懒音、不是漏词,是语法范畴。
【细微】所以一个以标准正字法为输出目标的 ASR,在结构上无法表示输入的某些区分。它必须把这些区分压平到标准英语能编码的形态里。压平的那一刻,参照转录本把它记为「错误」。
【极难发现】WER = 编辑距离 / 参照词数。参照转录本由谁写、按哪套正字法写,决定了什么算「错」。这不是测量误差,这是【定义权】。
【流程节点链路】起点:说话人产出带体貌区分的 AAVE 句子 → 中间节点 1:声学/语言模型以标准英语语料为主训练,对非标准形态先验极低 → 中间节点 2:解码器输出最接近标准正字法的序列 → 中间节点 3:评测者用标准英语参照转录本算编辑距离 → 终点:该句被判高 WER,「系统对这群人不好用」被记成技术性能问题,而不是【表征不匹配】。
为什么这不是学术洁癖:这些系统进了招聘初筛、庭审转录、医疗听写、客服路由。WER 的差距会变成服务可及性的差距——而且是以「客观指标」的名义分配的。
【给最强反驳留位置】有人会说:WER 只是工程指标,多喂方言数据就能降下来,Koenecke 自己也这么建议。我承认数据层面可修。但修完之后还有一个岔路口没人愿意明说:如果目标是「忠实转写」,参照系就必须允许多套语法并存;如果目标是「归一化到标准英语」,那 ASR 就是一个规范化的政治工具,得把这个目标写在说明书上,而不是藏在 WER 的分母里。
值得辩论的问题:如果一台 ASR 把 “She be working” 转成 “She is working”,它修正了一个错误,还是抹掉了一个语法范畴?如果答案是后者——「忠实转写」的标准该由谁定,被转写的人有没有否决权?







0 Comments