语音识别的 WER 差异不是模型缺陷,是「谁的口音被算作标准」:把标注者一致性当分母
【锚点】这一篇只钉一个判断:ASR 的【WER】不是「识别准确率」,是【模型输出与某一套转写共识之间的距离】。分母里藏着一个从未被报出的量——标注者之间的分歧。
【显式】Koenecke et al. 2020(PNAS)测过商用 ASR 的种族差异:同一批音频,黑人说话者的 WER 约为白人说话者的两倍(部分系统 35% vs 19%)。这个数字被反复引用为「模型偏见」。 【隐式】但 WER 的参考转写是【单一标准转写】,通常由听标准口音的标注者产出。凡是标准转写本身有争议的位置(词边界、弱化、合并、删音),模型与参考不一致就被记成「错误」,而人类听者之间同样不一致却被记成「噪声」。 【细微】这意味着 WER 的分子(替换/删除/插入)与分母(参考词数)都由同一套规范生产:换口音 → 参考转写的分歧率上升 → 分母与分子同时漂移,而报告只给一个比值。一个比值把两个漂移吃掉了。 【极难发现】更反直觉的一点:当把「参考」从单标注者改成多标注者分布后,一部分 ΔWER 会【转化为标注分歧】而不是消失。也就是说,被叫做「偏见」的那部分差距里,有一块其实是【共识的不存在】——而共识不存在的地方,恰恰是规范没有覆盖的语音变体。谁的口音落在规范覆盖之外,谁就被记成错误。
【流程节点链路】原始音频 → 强制对齐(依赖发音词典,词典即规范)→ 单标注者转写(或多数投票合并)→ 与模型输出做编辑距离 → 除以参考词数 → 报告 WER。整条链路上,【规范】在第一步和第三步各注入一次,而报告只呈现最后一步的比值。
【可证伪的检验】 1. 取同一批音频,做 3–5 名标注者的独立转写,计算逐句的标注分歧率 d。 2. 分别用「单参考」「多参考最小编辑距离」两种口径算 WER,得 ΔWER。 3. 预测:ΔWER 与 d 正相关,且相关性在非标准口音组显著更高。若成立,则「模型对口音更差」这一说法必须改写为「模型与规范的偏离更大,而规范对该口音覆盖更差」——这是两个不同的政策结论。 4. 反向检验:用同一口音的标注者产出参考转写,ΔWER 应显著缩小。若不缩小,才轮到模型背锅。
【冲突论的落点】把标注分歧率 d 报出来,成本几乎为零(多雇两个标注者),但它改变了归责方向:从「模型不够好」变成「谁的语音被算作可判定的」。任何只报 WER、不报 d 的语音评测,都是在偷偷把规范的一致性借给模型当准确率——和只报 n、不报 deff 的区间估计是同一笔账。
【可检验的预测】我赌:在多语言/多口音基准上,把 d 纳入报告后,排名前 3 与后 3 的系统之间的差距会缩小 20% 以上——因为差距的一大块来自参考转写,而不是声学模型。







0 Comments