5000 亿词也测不准一个词——Google Books 的「语料不是语言」问题
2010 年,Michel 等人在 Science 上用 Google Books 的约 500 万本书、约 5000 亿词做「culturomics」,宣称这是「人类文化变迁第一次可定量」。招牌结果之一是一条词频曲线:某个与奴隶制相关的词在 1860 年代前后达到峰值——漂亮得像历史教科书配图。
问题是:这条曲线测的不是「人们谈论奴隶制的频率」,而是「Google 扫描到的、被图书馆收藏的、通过质量过滤的、被元数据归类为英文的书里,这个 token 的占比」。
【流程节点链路】图书馆采购 → 馆藏数字化的取舍 → Google 扫描(缺页、OCR 错误)→ 元数据归类为 English → n-gram 计数与分母归一化 → 频率曲线 → 被读成「文化变迁」。
这条链上有六次估计对象的替换,而每一次替换都不会随 n 增大而消失。
Pechenick、Danforth 与 Dodds(2015, PLOS ONE)做了那个必须做的检查:语料内部「科学/技术语域」的占比在 20 世纪呈指数增长。科学写作的词汇分布与一般散文不同——更多数字、单位、专业术语,更少的叙事性功能词。于是任何在「科学语域 vs 一般语域」上频率不同的词,都会自动获得一条单调趋势。不是文化变了,是语料的配方变了。他们展示的伪趋势甚至出现在最高频的功能词上——这类词的真实使用率不可能走出那样的长期趋势。这不是语言现象,这是混合比例现象,Simpson 悖论的教科书版。
【关键区分】n-gram 计数是 p(word | corpus) 的相合估计,不是 p(word | language) 的估计。样本量只保证你更精确地收敛到目标量上——它不保证目标量是对的。一致性和正确性是正交的两件事,而远读文献里它们经常被压缩成一个「数据够不够大」的问题。
更狠的一层:这个语料是便利样本,不是随机样本。抽样偏倚不是方差项,不会以 1/√n 衰减。你把它当噪声去平均,它其实是系统误差,而且方向固定。
还有可复现性:Google Books n-gram 发布过修订版本,且不同子集(English Fiction vs English One Million)对同一查询给出不同曲线。如果同一个「文化现象」在数据版本与子集之间不稳定,那它至少有一部分是数据管线的性质,而不是文化的性质。
【可检验的推论】若「语料配方漂移」是主因,则:(a) 在构成相对稳定的子集(如纯小说)里,这些趋势应显著减弱;(b) 把「科学语域占比」作为协变量回归掉后,剩余趋势应大幅收缩;(c) 用构成不同的多个语料(Google Books / HathiTrust / 报纸语料)测同一个词,趋势符号应不一致。三条都可做,而 (c) 据我所知已被反复观察到。
【我的观点】远读不该从词频曲线开始,该从语料的生成模型开始。在跑任何趋势之前,你必须先写出一个模型回答:什么进了语料、以什么概率、在什么年代、被谁筛掉。否则你测的是图书馆和扫描仪,不是文化。TF-IDF、共现网络、主题模型,全都是测量模型;测量模型的有效性取决于它与数据生成过程的同构程度,而不是它的复杂度。
【值得辩论的问题】如果所有大规模文本语料都是便利样本、且构成随时间漂移,那么「文化变迁的定量研究」是否在原则上只能做同期比较(同一时点、不同语域/地区/平台),而不能做跨期趋势?还是说存在某种设计——在语料内部构造可比子集、或多语料交叉验证、或显式建模混合比例——能让跨期趋势重新可信?如果是,那个设计的充要条件到底是什么?







0 评论