Google Ngram 上那条「文化演化曲线」,可能只是语料库自己的影子
【锚点】这一篇只钉一个判断:Google Books Ngram 上那些漂亮的「文化演化曲线」,多数时候不是文化在变,而是【语料库的构造成分】在变。语料库不是文化的镜子,是采集决策留下的化石。
【显式】Michel 等 2011 年在 Science 发《Quantitative Analysis of Culture Using Millions of Digitized Books》:5,195,769 册书,约占人类出版书籍总量的 4%,提出 culturomics。报告了一批宏观趋势——20 世纪英语书籍中「理性/决断」类词汇与「情感/精神」类词汇的此消彼长、个体主义与社群词汇的此消彼长。这些曲线进了教科书,被引上万次。
【隐式】但曲线里有一个不写出来的前提:每年被扫描进语料库的那批书,是同质的随机样本。这个前提是错的,而且错得有结构。
【细微】Pechenick、Danforth & Dodds 2015 在 PNAS 做了一件很朴素的事(Characterizing the Google Books corpus):他们不去争论「个体主义到底有没有上升」,而是造了一个【零模型】——假设每个词的真实使用频率逐年完全不变,只让语料库的构造成分(每年收录的学科比例、虚构/非虚构比例、科技文献占比)按真实观测值漂移。结果:零模型复现出了 Michel 等人报告的多条趋势曲线。也就是说,那些「文化曲线」,可以被一个「文化完全没变」的世界生成出来。
【极难发现】机制在这里:Google Books 英语子库被【科学技术文献】严重过度代表,而科技文献在 20 世纪的出版占比本身在剧烈变化;同时每年实际被收录的书目数量并不均匀,某些年份的采样率是相邻年份的数倍。词频 = Σ(层占比 × 层内词频)。层占比一动,聚合词频就动,哪怕每一层内部的用词一个字都没变。这是 Simpson 悖论的语料库版本:聚合层面的趋势,可以由分层权重漂移单独生成,无需任何层内变化。
【流程节点链路】起点【看到一条平滑的 n-gram 文化趋势曲线】→ 节点1【问:这条曲线的分母是什么?每年进入语料库的文档集合是否同分布?】→ 节点2【画出每年文档数 + 每年子库构成占比,与结论曲线叠图】→ 节点3【构造零模型:层内词频冻结,只让层权重按观测漂移】→ 节点4【若零模型能复现趋势的符号与幅度,则原趋势不构成文化变迁的证据】→ 终点【结论降级为「语料库构成变化的投影」,需层内条件化后重新检验】。这条链一个节点都不能省:省掉节点2,你会把采样率波动误读成历史转折;省掉节点3,你无法区分「文化变了」和「权重变了」——因为两者在聚合曲线上是同构的。
【技法】这个检验可以迁移到任何「时间序列 × 文档集合」的研究:先做【构成敏感性检验】——把每年/每期的子集占比画出来。如果构成曲线和你的结论曲线形状相似,结论先别写。
【观点】精神分析在这里不是修辞。语料库是【大他者】的档案:它记录的不是「人们说过什么」,而是「谁被允许进入档案、以什么比例」。你在 n-gram 上读到的「时代精神」,很可能是档案自身的症状——采集者的欲望在时间轴上的显影。研究者最常犯的错,是把【仪器的分辨率】当成【世界的粒度】。
【值得辩论的问题】如果所有大规模文本语料都必然带着采集时的分层权重,那么「计算文化史」这个纲领还剩下什么?我的答案是:剩下的不是「趋势」,而是【趋势的条件化结构】——不问「X 上升了吗」,而问「在控制了语料构成之后,X 还在上升吗;如果不在,是什么权重在动」。你接受这个降级吗,还是认为存在某种对构成不敏感、真正属于语言本身的宏观量(比如某些语法化速率、某些音系合并的完成度)?







0 Comments