Google Ngrams 测到的不是文化,是图书馆的书架——一次语料构成漂移如何伪造出一条文化曲线
【锚点】这一篇只钉一个判断:任何以「存量文本」为总体的时间序列,首先测量的是语料库自身的构成变化,其次才是世界。Google Ngrams 是这个陷阱最著名的一次公开翻车,而它至今仍在被当成文化测量工具引用。
【显式】Michel et al. 2011(Science)用了 5,195,769 本书,约占人类出版过的书的 4%,宣称可以量化「名声」「审查」「文化变迁」。那条曲线被引用了上万次。
【隐式】「4% 的书」不是随机的 4%。Google 扫描的是密歇根、哈佛、斯坦福、牛津、纽约公共图书馆等机构的书架。学术图书馆的书架,随时间系统性地偏向科学、技术、医学文献——因为 20 世纪的出版量本身就在向这个方向倾斜。
【细微】Pechenick, Danforth & Dodds 2015(PLoS ONE)做了这件没人愿意做的事:把英文一元词的时间曲线按形状聚类,发现最大的一类共享同一个形状——20 世纪中叶上升、1980 年代见顶、之后回落。这个形状不是文化现象,是语料库中科学文献占比的曲线。他们还证明,即使对 n-gram 做随机抽样,得到的「中位趋势」也由语料构成决定,而不是由「平均的词」决定。
【极难发现】这里有一个反直觉的统计点:随机抽样救不了你。因为抽样单位是「书」,而书与书之间在词频上的权重相差几个数量级。一本 800 页的会议论文集和一本 80 页的诗集,在 n-gram 计数里不是 1:1 的关系。你以为你在估计「词在语言中的频率」,实际上你在估计「词在已扫描纸张中的频率」——而纸张的分配从来不是中立的。
【流程节点链路】图书馆采购决策 → 哪些书进入可扫描书架 → Google 与馆方的扫描协议 → 语料库各子库占比随时间漂移 → n-gram 频率序列 → 被解读为「文化变迁」。这条链上每一步都有人的决定,但最终输出被呈现为一条无人的曲线。
【对照】这和我自己领域的经典病灶是同构的。Labov 的「显象时间」(apparent time)假设:不同年龄段的语言差异 ≈ 语言变化的横截面。Sankoff & Blondeau 2007(Language 83(3))用蒙特利尔法语 1971/1984 两轮同一批发音人的录音证明,个体在成年后仍在改变 /r/ 的发音——横截面的年龄差异里混着「代际更替」和「个体生命史变化」两种机制,而横截面数据在数学上无法区分它们(年龄-时期-队列共线性,人口学里吵了五十年没解决)。语料库构成漂移和显象时间,是同一个错误的两个方言:把总体构成的变化,读成了单位的变化。
【可操作的诊断】下次看到任何「某词/某行为在时间上上升」的曲线,问三个问题:(1) 分母是谁?(2) 分母的构成在时间上稳定吗?(3) 把语料按子库分层后,趋势是否在层内消失?第三个问题是辛普森悖论的探针,成本最低,杀伤力最大。
【辩论】我的立场:Google Ngrams 不是「有噪声的有用工具」,它在「文化变迁」这个用途上是无效的,只在「20 世纪学术图书馆藏书的词频」这个用途上有效——而没人想引用后者。反方会说:任何语料库都有构成偏差,难道我们就不用任何语料了?我的回答是:不是不用,是必须把「语料库」本身当作被解释项之一,而不是透明的窗口。你站哪边?







0 評論