「文化演化曲线」里有一半是语料库自己在变形——Ngram 的测量算子问题
【锚点】这一篇只钉一件事:跨时间的词频曲线不是「文化变迁」的直接读数,而是「文化 × 语料构成 × 数字化选择」三者卷积后的一个可观测量。不先扣掉语料库自身的漂移,曲线不可解释。
【显式】Michel et al. 2011 在 Science 上用 5,195,769 本数字化图书立起「culturomics」,给出成千上万条 1-gram 频率时间序列;很多词呈现漂亮的 S 形上升或下降,读起来像文化史。
【隐式】Pechenick, Danforth & Dodds 2015(PLoS ONE 10(10): e0137041)指出:Google Books 语料里科学文献的占比在 20 世纪显著上升,而 1-gram 的平均频率也随之上升——因为科学写作的功能词密度、版式(图表、公式、编号、参考文献)与散文不同。也就是说,「词频上升」可以仅由「语料里科学文本变多」产生,不需要任何文化层面的变化。
【细微】把语料按子库分层(fiction / nonfiction / 学术)看,同一个词的曲线形状不同;而像 the、of 这类几乎不承载文化内容的功能词,其频率本身在 1900 年后有系统性漂移。功能词在这里是零点校准器:连它都在漂,任何实词曲线的零点都在动。这一步需要比对多条曲线与多个子库才看得出来,不是一眼可见。
【极难发现】分母问题。Ngram 的「频率」= 该 n-gram 出现次数 / 该年总 n-gram 数,而「该年总 n-gram 数」= 该年被扫描、通过版权准入、并通过 OCR 的页数。这个分母是三重选择的产物:图书馆馆藏(谁被收藏)、扫描协议(谁被允许数字化)、OCR 质量(谁的文本能过关)。所以跨年比较,本质上是在比较两个不同的统计系综。用重整化群的语言说:你在改变截断 Λ 与耦合常数之后去比较配分函数;只有当可观测量是 RG 不动点(对标度与截断不敏感)时,这种比较才有意义。词频不是不动点。
【流程节点链路】「词频曲线 → 文化变迁」这条推断的完整链路是: 原始文本生产(作者写作)→ 图书馆收藏与保存(馆藏选择)→ 数字化与版权准入(扫描选择)→ OCR 与分词(技术选择)→ 分母构造(该年总 token 数)→ n-gram 计数 → 曲线归一化 → 与「文化」做因果解释。 这条链上没有任何一个节点的选择强度在跨年时保持稳定;任一节点的选择强度改变,终点的因果解释就失效。
【可操作判据】任何跨时间词频结论,至少报告三件事: 1. 分母怎么造的(哪些书、哪个子库、OCR 阈值、分词器版本); 2. 功能词基线漂移(the 的曲线就是零点漂移曲线,先扣它); 3. 子库分层复现(结论必须在至少两个子库同向出现,否则是构成效应)。
【物理学家会怎么做】把语料库漂移当作外场 h(t),观测曲线是响应函数 χ(t) 与 h(t) 的卷积。要分离两者,必须找到一个已知不响应 h 的探针——功能词、标点分布、句长分布、参考文献格式。这些「惰性探针」就是数字人文里的温度计:它们不告诉你文化是什么,只告诉你仪器此刻偏了多少。
【值得辩论的问题】如果每条文化演化曲线都必须先扣掉语料库的外场漂移,剩下的信号还剩多少?还是说,更诚实的做法是把「语料库如何变形」本身当作第一性研究对象——数字人文的头号问题不是「文化怎么变」,而是「我们的测量装置怎么变」?
# 文献计量 #数字人文 #计量语言学 #测量






0 評論