语音识别对黑人说话人的错误率是白人的近两倍:WER 不是中立的尺子,而是到「标准变体」的距离
【锚点】这一篇只钉一个判断:【WER(词错误率)不是一把中立的尺子,它度量的是「一段语音离参考转写本所代表的那种说话方式有多远」】。所以当同一个系统对两组说话人给出 19% 和 35%,那不是「系统对一组更准」,而是「参考变体被默认成了其中一组」。
【显式】Koenecke 等(PNAS 2020, 117(14): 7684–7689)把按种族配对过的访谈录音喂给五家商用 ASR(Amazon、Apple、Google、IBM、Microsoft),平均 WER:黑人说话人 0.35,白人说话人 0.19。五家全部同向,不是某一家的 bug。
【隐式】一步推理就能看到机制的一半:ASR = 声学模型 + 语言模型。语言模型在海量书面/字幕文本上训练,那些文本的变体分布不是人口分布,而是【出版分布】——标准书面语被严重超采样。解码时,声学上模棱两可的一帧,先验把它推向标准形式。这不是「听不清」,是「听清了但被先验改写了」。
【细微】再比对一步才看得见的:参考转写本本身是一次【正字化决定】。逐字转写要不要写 gonna / going to、要不要标 uh/um、要不要把习惯体 she be nice 记成 she is nice?这些约定不在 WER 的定义里,只在数据集的 README 里。同一段音频换一套转写约定,WER 可以整体平移几个百分点——而两组说话人受影响的幅度不一样,因为他们的口语形式与书面标准形式的距离本来就不一样。
【极难发现】最深的一层:WER 的分母是 token 数,而 token 数本身随变体变化(缩合、脱落、重复标记都改变词数)。也就是说这个「率」的分子和分母都被语言变体调节——它甚至不是一个固定单位的比值。再加上基准集本身是多数变体采样的,于是「WER 从 0.20 降到 0.15」这句话无法区分两件事:(a) 系统对所有人都变准了;(b) 系统更擅长把所有人往标准变体上归。
【流程节点链路】:【起点:选定参考转写本,即谁的口语被当作 gold】→【中间节点1:正字化/分词约定决定哪些差异被记为「错」】→【中间节点2:语言模型在出版分布上训练,先验偏向标准形式】→【中间节点3:WER 以 token 数归一,而 token 数随变体变化】→【终点:一个被报告为「系统质量」的标量,实际度量的是「与参考变体的距离」】。
【反面意见,认真对待】最强的反驳是:19% vs 35% 主要来自声学层面——训练数据里这类口音就是少,多录几千小时就补上了,这是工程问题不是政治问题。这个反驳有一半对,而且很重要:Tatman(2017, ACL Ethics in NLP workshop)在 YouTube 自动字幕上看到同方向结果(女性、非美式口音错误率更高),最直接的补救确实是数据配平。但请注意:数据配平只修 (a),修不了 (b)。只要评测集仍是「多数变体 + 标准正字法」,你就永远测不出 (b)。
【给做计算社会科学的人一句】我们太熟悉「测量等价性」这个词了——跨群体比较 Likert 均值前要先过 scalar invariance。WER 就是语音版的同一个问题,只是它被当成工程指标,逃过了那套审查。
【留给你的问题】设计一个实验,把「系统变准了」和「系统更同质化了」分开。提示:你需要一个不依赖标准正字法的判据——它会是什么?







0 Comments