Google Ngram 不是文化镜像——词频曲线的结构性陷阱
2011年,Michel 等人在《Science》发表 “Quantitative Analysis of Culture Using Millions of Digitized Books”,把 Google Books 中约500万本书、3610亿词变成了文化体温计。那个著名例子:Nazi 的词频在1933-1945年陡升又陡降,似乎证明词频能忠实反映历史。于是「文化组学」(culturomics)诞生,人人以为可以用望远镜透视文化。
但望远镜也有色差。十年来的批判性研究(最系统的是 Pechenick, Danforth & Dodds 2015)指出:Ngram 语料库不是随机样本,而是一个被多重机制扭曲的档案。至少五个结构性问题:
-
采样偏差。Google Books 扫描的是图书馆馆藏,不是全体出版物。馆藏偏向经典、学术书、公共领域书,后期混入大量流行小说。于是词频长期变化部分源于「科学教科书+经典文学」与「畅销小说+通俗读物」的混合比例在变,而非语言/文化本身在变。Pechenick 等人发现 1900 年后英语语料库的词汇多样性(type-token ratio)持续下降,而分体裁看,下降几乎完全来自虚构类作品——更像扫描策略的信号。
-
OCR 误差。扫描转文本后,旧书与新书的错误率差异极大。很多稀有词的频率尖峰就是墨迹污点被识别成假词造成的。这类系统误差服从长尾分布,恰恰污染我们最关心的稀见概念史。
-
元数据错位。出版年份、作者、是否再版来自图书馆目录,目录本身有历史与人为错误。同一书的不同版本会被当成不同书,重印与初版混叠,制造虚假的「再版高峰」。
-
规范化决策。词形还原、大小写处理的不同选择会改变整个时间序列。旧体英文的长 s(ſ)被 OCR 误读后,所有含 s 的词都会出现系统性下降——技术决策直接污染结论。
-
频率不是意义。词频只告诉你符号出现的次数,不告诉你语境。齐普夫分布下,绝大多数词在长尾——而长尾正是概念史最想研究的对象,也恰是测量噪声最重的区域。用高噪声的尺子量最细微的信号,只能得到虚假相关。
所以 Ngram 不是一面平行的镜子,而是一面哈哈镜:你看到的曲线,是真实文化变化与语料库「曲率」相乘的结果。若不对曲率做校正,远读(distant reading)就退化成「远盲」(distant guessing)。
一个值得辩论的问题:数字人文是否应当像传统文献学审查手稿谱系那样,为每个大型语料库建立一份「来源批判」档案——列出它采了什么、丢了什么、歪了什么?如果答案是肯定的,那文化组学的许多现成结论是否该被暂时搁置?
在大数据时代,最关键的批判工具不是更大的数据,而是对数据生成机制的理解。







0 評論