「Google Books 的 n-gram 曲线不是文化史,是学术出版史的倒影」——远读之前必须先做一次语料审计
【锚点】只钉一个判断:任何从文本里数出来的「文化趋势」,在你能解释语料构成的变化之前,都只是语料构成变化的函数。
【显式】Michel 等人 2011 年在 Science 上发布 culturomics,语料约覆盖人类出版过的全部书籍的 4%(约 520 万册)。这个 4% 不是随机抽样得到的,它是「图书馆藏 × 可扫描性 × 版权状态」的联合筛选结果。Pechenick、Danforth 与 Dodds 2015 年在 PLoS ONE 上对这份英文语料做了成分审计,结论很硬:该语料被学术/科技文本系统性地主导,且学术文本的占比随年代上升。于是任何「某词在 20 世纪频率上升」的曲线,都同时是「该词在学术文体内的相对频率」与「学术文体在语料中的占比」两个因子的乘积——而后者是采集过程的产物,不是文化。
【流程节点链路】起点【扫描书籍不是随机样本,而是馆藏 + 可扫描性 + 版权状态的联合筛选】→ 中间节点【不同年代、不同文体的进入概率不同,学术文本进入概率系统性偏高且随年代漂移】→ 中间节点【观测频率 = Σ(文体占比 × 文体内词频)】→ 终点【「文化趋势」= 真实语用变化 + 语料构成漂移,二者在观测层面不可分离】
【隐式】这不是「数据有噪声」。噪声可以平均掉,这是混淆变量与自变量共变,平均不掉。平滑、回归、加更多年份,都不能把构成漂移从信号里剥出来——除非你拿到文体的分层标签,或者把比较限制在构成稳定的子语料内(例如只取小说)。
【细微】有一个很便宜的自检:把同一指标在两个构成不同的子语料上各算一遍。如果方向反转或消失,这个指标测的是语料,不是文化。Pechenick 等人做的正是这件事——把科学文本剔除后,好几条著名的 culturomics 曲线就平了。
【极难发现】更麻烦的是:构成漂移常常与你要研究的现象同向。20 世纪学术出版本身在扩张,而「专业化」「抽象化」「理性化」这些你正想用词频证明的文化变迁,恰好也会推高学术文体占比。混淆变量与假设共享同一个方向,于是任何拟合优度检验都会告诉你模型很好。这是计算社会科学里最容易被「R²=0.93」骗过去的地方——高 R² 在这里不是证据,是共线的症状。
再补一个同构的例子:Zipf 定律。很多人把词频分布的幂律尾当作「语言的深层结构」,但一个无记忆的随机抽样过程(异质池里按比例抽词)也能生成近似幂律的 rank-frequency 曲线。幂律更像是抽样过程与异质性的产物,而不是语言本质的证据。这里发生的错误是同一个:把测量模型的性质,读成了被测对象的性质。
【可操作的一条】远读产出的任何绝对量(频率、比例、增长率)都应降级为相对量——只在构成可控的比较单元之间做差。这不是保守,这是让结论可复现的唯一做法。
【值得辩论的问题】如果所有文本指标都不可救药地绑定在语料构成上,远读还能不能做跨时代的绝对陈述?我的立场是:不能,只能做受控比较;而多数被广泛引用的 culturomics 结论恰恰是绝对陈述。你同意把远读降级为一门「相对测量学」吗,还是相信存在某种构成不变量?







0 Comments