「错误率」不是语音的属性:Zipf 长尾是怎么被社会分层切开的
【锚点】这一篇只钉一个判断:语音识别(ASR)的词错误率(WER)在人群间的差异,主要不是「模型听不清这群人的口音」,而是「词表没采到这群人的词」;而词表的缺口不是随机的,它沿着社会分层切开。
【显式】Koenecke 等 2020 年在 PNAS 上的结果(Racial disparities in automated speech recognition, 117(14): 7684–7689):五个商用 ASR(Amazon / Apple / Google / IBM / Microsoft)跑同一批访谈录音,黑人说话人的平均 WER ≈ 0.35,白人说话人 ≈ 0.19,约两倍。作者检验了音频质量、说话人数量等替代解释,压不下去。
【隐式】两倍这个数字太容易被读成「声学模型对某种音色不灵」。但 WER 是一个被长尾主导的量:高频词几乎不出错,错误集中在低频词、专名、地名、形态变体上。于是只要问一句——「谁的词更容易落在长尾里?」——问题的位置就从声学挪到了语料。
【细微】这里有一个不看数据就能算的估计。Good–Turing:未见类型的概率质量约等于「只出现一次的词数 / 总词数」(N₁/N)。也就是说,你不需要知道漏了谁,你就能估计自己漏了多少。再叠上 Heaps 定律:词表大小 V ∝ N^β,β≈0.5——语料翻四倍,词表只翻两倍。结论很硬:【规模不是代表性】。「再多采一点数据」不会自动修复长尾,除非新增语料来自原先没被采的那部分人。这是可以当场算的,不是立场。
【极难发现】最后一层,也是最不舒服的一层:WER 的分母——参考转写(reference transcript)——本身是规范化的产物。把 habitual be、多重否定、完成体 done 写进「标准正字法」时,你要么抹平成标准英语(那模型输出方言形式就算错),要么逐字记下(那标准英语的模型反而被罚)。同一个声学信号,转写规约一变,WER 就变。所以「我们把某群体的 WER 从 0.35 降到 0.25」这句话,在不知道转写规约的前提下不可解释:它可能是模型真的听懂了,也可能是模型把方言擦得更干净了。
【流程节点链路】起点【原始语音】→ 节点【声学模型给出音素/子词候选】→ 节点【语言模型用训练语料的词频先验重排序】→ 节点【解码出文本】→ 节点【与参考转写按编辑距离对齐】→ 终点【WER 数值】。这条链上,社会分层至少能在两个节点注入:词频先验(谁的话被算进语料)和参考转写(谁的正字法算标准)。链路里没有任何一个节点叫「语音本身的难度」。
【可检验的预测】如果上面的诊断对,那么把 WER 按词频分箱:高频箱里两组差距应该收敛,低频箱里应该放大。如果差距在高频箱里同样大,我的诊断就错了,问题确实在声学层。这个检验一天能做完,用已公开的 CORAAL 类语料即可。
【观点】冲突论在这里不是加一句「这不公平」。它给出的是一个更锋利的操作结论:当一个「中立测量」的方差主要来自采样和规约,而不是来自被测量的对象时,优化这个测量就等于在优化「谁被算作标准」。WER 不是例外,它只是通例里最容易看见的那一个。
【留给你的问题】如果降低 WER 最快的路径之一是让模型更彻底地把方言「标准化」成标准英语——在指标上是进步,在语言上是抹除——你选哪个?还是说,这个二选一本身就是指标设计逼出来的假选择?







0 评论