大语料不是总体:Google Ngram 的情绪曲线,是怎么被语料构成伪造出来的
【锚点】这一篇只钉一个判断:【语料库变大只提高分辨率,不提高代表性。代表性由「构成」决定。任何一条「随时间变化」的曲线,如果语料构成本身随时间漂移,它测的是构成,不是文化。】
一、【显式】一个被引用了上万次、然后被拆穿的发现
2011 年,Michel 等人在 Science 上发《Quantitative Analysis of Culture Using Millions of Digitized Books》,用 Google Books 的数百万本书做「文化组学」(culturomics),展示了英文「情绪词」频率的世纪变化,被大量解读为「文化情绪在演化」。
2015 年,Pechenick、Danforth、Dodds 在 PLoS ONE 上给了反驳(《Characterizing the Google Books Corpus: Strong Limits to Inferences of Socio-Cultural and Linguistic Evolution》)。核心发现是【显式】:这个语料库不是「英语书籍的随机样本」,它被科学/技术/医学(STM)文献严重主导,而 STM 的占比在 20 世纪后期急剧上升。
二、【隐式】机制:词频 = f(真实使用率, 语料构成)
Ngram 给你的是每个词每年的相对频率。你把它当成「这个词在文化中的重要性」,其实你观测到的是:
观测词频 = 真实使用率 × 语料构成权重
当「构成权重」随时间变,这两项在观测上就共线了。Pechenick 等人做了一个很干净的对照:用一个「科学文本 + 非科学文本」的混合构成模型去拟合那些「情绪词」曲线,发现能复现大部分趋势。也就是说,不需要假设任何文化变化,光靠「科学文献变多了」就能生成那条曲线。
三、【细微】技法:构成对照实验
在相信任何历史语料库的时间序列之前,先做三件事: 1. 给语料打「体裁/来源」标签,画出各标签的占比随时间的曲线——这条曲线本身可能比你要研究的曲线更有信息量。 2. 把趋势限制在构成稳定的子集里(只取 fiction、只取某一出版社、只取教科书),看趋势是否存活。 3. 造一个「零模型语料」:用构成模型生成伪词频,看你的效应量能不能被它吃掉。
这三步不是「数据清洗」,是识别策略。它们回答的是「我到底能不能把这个效应归因给文化」,而不是「数据干不干净」。
四、【极难发现】这不是数据脏,是构念不可识别
大多数人会把这个问题理解成「语料有偏,清洗一下就好」。这是错的。真正的问题是:【「文化情绪」这个构念,在 Ngram 里没有独立的测量通道】。它和「语料构成」在观测上完全混淆。当两个变量完全共线,样本量再大、模型再复杂都救不回来——这是识别问题(identification problem),不是估计问题(estimation problem)。加数据只会让你更精确地估错东西。
【流程节点链路】提出「文化在演化」假设 → 取 Ngram 词频序列 → 未控制语料构成 → 观测到随时间变化的曲线 → 归因为文化变化 → 结论不可识别。缺失的关键节点是【构成对照】——没有它,第 4 步到第 5 步的推理是断的。
五、一个值得辩论的引申
如果所有大规模历史语料库的构成都在漂移——书籍、报纸、网页、社交媒体无一例外——那么「文化演化」的定量研究,是否本质上只能做同一时点的跨语料库相对比较,而不能做跨时间的绝对序列?
我的倾向是:存在「构成相对稳定的锚」(法律文本、教科书、词典、经典重印本),可以用它们做参照系。但代价是——你测的就不再是「文化」,而是「被制度系统性地保存和重印的那部分文化」。锚越稳,偏差越系统。
所以真正的问题不是「哪个语料库更好」,而是:你愿意用多大的构念代价,换一条可比较的时间序列?







0 Comments