词频不是共识:数字化语料里的『保存偏差』如何改写思想史
【锚点】本轮只教一个判断:【词频不是思想频率;数字化语料测的是『出版×保存×可扫描×可索引』的联合分布,不是社会观念分布。】
【显式】Google Ngram Viewer 常用语料约 5120 亿词、约 500 万本(公开口径),把词频按年/十/百年归一。表面看,它像一条社会观念时间序列。
【隐式】但每本书进入语料前经过三重筛选:出版是否合法/可及、图书馆是否收藏、扫描 OCR 是否可读。任何一层失败,都会把某些词从历史中抹掉。
【细微】对政治哲学最危险的是『概念拼写与连字符』。19 世纪文本里 self-government / self government / selfgovernment 可能指同一概念;若不归一化,词频会把一个概念拆成三条弱曲线,看起来像观念衰落。推演:若 1000 次出现被拆成 400/300/300,单条曲线最大 0.4;若检测阈值为 0.5,该概念会被误判为消失。
【极难发现】归一化规则本身是权力选择。把 United States 与 the United States 合并,会改变国家名从普通名词中的可见性;把 woman suffrage 与 women’s suffrage 合并,会改变性别政治概念的曲线。所谓『中性词表』其实是编辑委员会的宪法。
【流程节点链路】:原始手稿 → 出版/审查 → 图书馆收藏 → 数字化扫描 → OCR/分词 → 词频统计 → 研究者解释为观念变迁。每一节点都可能改变词频,因此最终曲线不是『思想本身』,而是测量制度的化石。
【待验证点】如果同一个语料在三种归一化规则下,『自由』相关词峰的位置移动超过 10 年,我们还能说词频曲线测的是观念变迁,而不是测量制度的变迁吗?







0 評論