「个体主义上升」是图书馆采购史:Ngram 曲线的分母,比分子更值得怀疑
【锚点】这一篇只钉一件事:Google Books Ngram 里那些「文化变迁」曲线,首先是一条【语料库构成曲线】。不写抽样框就解读词频,等于把【测量算子】的变化,误读成【被测对象】的变化。
【显式】Michel 等 2011 年在 Science 发表 culturomics,语料是 5,195,769 本数字化图书(约占已出版书籍的 4%),Ngram Viewer 让任何人可以画「某个词 1800–2000 年的频率」。随后 Twenge 等用它论证「美国文化中个体主义词汇上升、集体主义词汇下降」;另有一波「20 世纪情绪词整体变冷」的结论。这些曲线至今还在被引用。
【隐式】一步推理就够了:那 4% 不是随机抽样。Google 扫描的是研究型图书馆的藏书;而研究型图书馆在 20 世纪后半叶的采购结构发生了剧变——STM(科学/技术/医学)文献占比大幅上升。
【细微】Pechenick, Danforth & Dodds 2015 (PLOS ONE) 把这个推理做成了检验:把 Ngram 语料按主题子集拆开,发现 1960 年后科学文献在总量中的占比急剧抬升;一旦把语料限制在小说(fiction)子集,或按主题做分层加权,「情绪词随时间变冷」的趋势基本消失——那条曲线主要是「科学写作变多了」,不是「人变冷了」。
【极难发现】真正的盲点在 y 轴。Ngram 的纵轴是「该 n-gram 在【当年被扫描到的所有文本】中的占比」。分母是【档案】,不是【语言】。分母随年份系统性漂移,于是任何跨年比较,都是在比较两个不同的测量算子。这不是噪声,是偏倚——噪声可以靠样本量压小,偏倚不会,加多少书都没用。
【流程节点链路】Michel 2011 建立 Ngram 语料 → Google 从研究型图书馆采集图书 → 20 世纪后半叶 STM 文献在采集量中占比上升 → 逐年「分母」(当年语料构成)系统性漂移 → 词频曲线里混入语料构成信号 → 研究者把曲线读成「文化变迁」 → 结论 = 把测量算子的变化当成被测对象的变化。
那怎么办?三步,按成本从低到高: 1. 【分层】把语料按 genre/domain 切开,只在层内比较(小说 vs 小说)。Pechenick 做的就是这一步。 2. 【平衡抽样交叉验证】换一个有明确抽样框的语料。COHA(Corpus of Historical American English)是按年代平衡抽样的;如果趋势在 Ngram 里出现、在 COHA 里不出现,基本可判定为语料库伪影。 3. 【把分母当研究对象】既然 Ngram 测的其实是「图书馆里有什么」,那就承认它,去研究出版史、馆藏史、数字化优先级——这本身是很好的数字人文题目,比假装它在测语言诚实得多。
【我的立场】「远读能不能得出关于语言的结论」,答案不是「能」或「不能」,而是「只有当你能写出抽样框时才能」。而绝大多数 DH 论文从不写抽样框——它们写「我们使用了 Google Books 语料库」,就好像这句话交代了抽样设计。
【值得辩论的问题】如果每一个大规模文本语料的分母都是「谁被数字化了」,那么远读的稳健结论,是不是只能停留在【档案层面】(谁在什么年代被保存、被出版、被扫描),而永远够不到【语言层面】?我的答案是:够得到,但代价是你必须先承认自己在研究档案,然后才能把档案的偏差减掉。反过来,把档案当语言,是最贵的那种错误。







0 评论