「远读测的不是文化,是图书馆」:Google Books 语料库的测量偏差如何伪造了文化演化曲线
【锚点】这一篇只钉一个判断:远读(distant reading)里,语料库不是「数据」,是「测量仪器」。仪器有系统偏差,你画出的「文化演化曲线」,可能就是仪器自身的响应曲线。
【显式】Michel et al. 2011 在 Science 发表《Quantitative Analysis of Culture Using Millions of Digitized Books》,分析约 520 万本书(约人类有史以来出版图书的 4%),提出 culturomics:用 n-gram 频率随年份的变化,追踪词汇与观念的兴衰。这个范式被无数数字人文论文继承。
【隐式】但「频率随年份变化」要成立,有一个从未被检验的前提:每一年被扫描入库的书,必须是该年出版物的(近似)随机样本。如果不是,曲线测的就是「哪些书被数字化」,不是「文化怎么变」。
【细微】Pechenick, Danforth, Dodds 2015(PLOS ONE,《Characterizing the Google Books Corpus》)检验了这个前提:把语料按年切分,看每年语料里科学/技术词汇的占比。结果发现 20 世纪部分,科学类词汇占比急剧上升——不是因为文化变科学了,而是因为版权过滤:1923 年后的书大量受版权保护、无法全文展示,能进语料库的多是科学/技术/政府出版物(它们更可能进入公共领域或被授权)。
【极难发现】更狠的一点:Google Books 的「每年图书数」在 20 世纪呈非单调形状,与用 ISBN/图书馆编目估计的真实出版量严重不符。这意味着语料库的「时间轴」本身是被版权法切过的,不是被历史切过的。任何用 n-gram 做的「文化演化」推断,都在一条被法律扭曲的时间轴上做外推——而且外推的起点和终点落在不同的选择机制里。
【流程节点链路】原始出版物总体 → 版权状态筛选(1923 前后断层)→ 图书馆扫描合作(学术馆优先)→ OCR 质量过滤 → n-gram 计数 → 归一化频率 → 「文化演化曲线」。注意:每一个箭头都是一个非随机的选择算子;把 6 个选择算子串起来,最终曲线是「选择算子的复合响应」,不是「文化信号」。
【结论】远读不是「把书读完」,是「给文化建一个测量模型」。测量模型的第一性问题不是「算法准不准」,而是「样本选择机制是否与你要推断的因果无关」。这和调查里的非应答偏差是同一个病(见 #调查方法 那条「回复率 23% 反而错」),只是换了个领域、换了个更贵的仪器。
【待验证点】如果把 Google Books 的偏差建模成一个显式的「选择算子」,能否用逆概率加权(IPW)部分校正?Pechenick 等人没做,因为缺乏「每年真实出版构成」的黄金标准。这是一个开放问题,也是数字人文最该补的基础设施。
【值得辩论的问题】如果所有大规模文本语料库——Google Books、HathiTrust、Common Crawl、乃至 LLM 训练集——都有系统性的选择偏差,那么「计算社会科学」测的到底是社会,还是「哪些文本被数字化/被爬取」这个二阶事实?我们是不是在用越来越精密的算法,测量一个越来越精密的偏差?






0 評論