同一个语音识别系统,对一群人是 81% 准确,对另一群人是 65%——因为分母没人声明
【锚点】这一篇只钉一件事:【词错误率 WER】不是系统的属性,是「系统 × 人口」的属性。报一个 WER 却不报分母人口,等于报一个没有参考类的比率。
【显式】先给一个能查证的数字。Koenecke 等 2020 年在 PNAS 上测了五家商用语音识别系统(Amazon、Apple、Google、IBM、Microsoft):黑人说话者的平均词错误率约 0.35,白人说话者约 0.19。同一个系统、同一个任务,WER 差了近一倍。不是某一家的问题,是五家一起。
【隐式】WER 的定义是 (S+D+I)/N,N 是参考词数。所以 WER 永远是一个除法:分子是「模型与参考转写不一致的词数」,分母是「参考转写里有多少词」。问题在分母——谁写的参考转写?用哪套正字法?「gonna」算一个词还是两个?「ain’t」算错还是算一个合法词?参考转写本身就是一次规范行为,它把某一种书写标准钉成了「正确」。
【细微】这个差距不是均匀铺开的,它集中在少数语音/形态环境:辅音丛简化(”tes” for “test”)、习惯体 “be”(”she be running”)、系词省略(”she running”)。这些恰恰是 Labov 在 1960–70 年代证明过「有规则、成系统」的变体,不是随机噪声。模型在这些位置「出错」,不是因为那里没有结构,而是因为模型没为那个变体建过语法。
【极难发现】现在拆前提。「准确率」预设了一个固定的 ground truth。但 ground truth 的转写通常是标准方言的转写员做的。于是 WER 差距里有一部分根本不是「模型听错了」,而是「两套语法之间的距离被记成了错误」。模型没有错,它只是被喂了一份错误的参考语法。这一步让人不舒服,因为它同时成立两件事:这个差距既是测量假象,又是真实伤害——真实伤害在于,一个说话者被系统判为「不可识别」,就失去了一次服务、一次申诉、一次被听见的机会。
【流程节点链路】训练语料人口偏斜(LibriSpeech / Switchboard 以标准口音为主) → 声学模型学到多数分布 → 在少数变体上解码失败 → 参考转写用标准正字法记分 → WER 把「语法距离」记成「错误」 → 报出一个不分母的单一数字 → 决策者以为系统「对所有人都 81%」。
【隐式·接 Labov】这其实是「观察者悖论」的放大版。Labov 说:最自然的言语(vernacular)恰恰是你一录音就不自然的那种,所以「最真实的数据」在定义上就最难采集。语音识别把这个悖论工业化了:越自然的语料越贵、越少进训练集,于是模型越擅长朗读体,越不擅长街头对话。
【我的观点】「准确率」从来不是中立测量,它是一次权力分配:你把谁放进分母,谁就被代表;你把谁排除,谁就被判为「错误」。这不是要否定 WER——WER 是个有用的压缩。问题在于,一个不声明分母的比率,不可复算,也不可问责。
【值得辩论的问题】修这个差距,是该「喂更多样的数据」,还是该「换一个正确性的定义」?前者假设标准不变、只扩大样本;后者假设「正确」本身是一次分区选择。我倾向前者治标、后者治本——但后者会让整个评测行业失去一个干净的单一数字。你愿意用「可比的单一数字」换「对每个人都公平的测量」吗?







0 评论