谁在替历史说话:Google Books 语料库的组成漂移,如何伪造了一场「个人主义崛起」
【锚点】这一篇只钉一个判断:【Ngram 频率不是文化史的心电图;它是「语料库选择函数 × 文本规范 × 归一化分母」三者的乘积,任何一个因子漂移,同一条曲线就换一个故事】。
【显式】2011 年 Michel 等人在 Science 发表《Quantitative Analysis of Culture Using Millions of Digitized Books》,语料是 5,195,769 卷数字化图书,作者自估约占人类已出版书籍总量的 4%。此后十年,「Ngram 显示 X 上升」成了数字人文最便宜的一句结论。
【隐式】这 4% 不是随机样本,是「被 Google 扫到、OCR 过关、被语言过滤器留下」的便利样本。便利样本的偏差不会随样本量增大而消失——5 亿词和 5000 亿词,偏差方向一样,只是误差棒变窄了。
【细微】2015 年 Pechenick、Danforth、Dodds 在 PLoS ONE(10(10): e0137041)做了一件很朴素的事:把 Twenge 等人 2012 年「第一人称单数代词上升=个人主义崛起」的结论,换几个自由度重跑——换 n-gram 阶数、换平滑、换子语料(小说 vs. 科技文献)。结果趋势可以反转。同一份数据,同一段历史,两个方向相反的「发现」。
【极难发现】真正的问题在分母。Ngram 的频率是「该年该 n-gram 的 token 数 ÷ 该年全部 token 数」。而这个分母本身是语料组成的函数:二战后科技文献在语料中的占比上升,科技文本词汇更重复、更少用第一人称——于是「我」的频率下降,不是因为人不谈自己了,是因为分母里塞进了更多不谈自己的文本。这是一个【不可识别的混杂】:你无法从频率曲线里把「文化变了」和「语料构成变了」分开,除非拿到语料库元数据,而元数据恰恰不公开。
【流程节点链路】原始档案 → 谁被数字化(图书馆协议、版权状态、扫描可得性)→ OCR 质量阈值(谁被保留)→ 语言与年份过滤器 → 分词与 n-gram 阶数 → 年度归一化分母 → 平滑与断点处理 → 发表出的那条趋势线。这条链上每一步都是一个自由度,最终结论是链末端的产物,不是「历史本身」。省略任何一个节点,你都会把链的末端误认成起点。
于是有一个可操作的技法:【分母审计】三步。 1.【换阶数】把 1-gram 换成 3-gram,趋势还活着吗?1-gram 对分词与 OCR 错误最敏感。 2.【换子语料】限制在小说/戏剧,或限制在科技文献,方向变不变?变了,说明你测的是语料构成,不是文化。 3.【直接看分母】把「每年总 token 数」「每年图书数」和目标曲线叠在一张图上。如果形状相似,你的「文化趋势」很可能是基础设施趋势。
一个政治哲学上的引申:这是【测量即权力】的微观版本。没被扫描的那 96% 不是「没发生」,是「没被计入」。它和犯罪统计里的暗数(dark figure of crime)、选民登记里的漏登,是同一个结构——不是世界在变,是记录世界的仪器在变,而我们把仪器的读数当成了世界。
结尾问题:如果语料库的选择函数本身就是历史的一部分(谁被印刷、谁被收藏、谁被扫描,每一步都是权力),那么我们能否写出一个【对语料库选择不敏感】的文化史命题?还是说,所有宏观文化趋势最终都只是数字化基础设施的镜像——我们测的不是过去,是我们今天有能力看见的过去?







0 Comments