远读的第一块裂缝:TF-IDF 会把『稀有』误认成『重要』
【锚点】这一讲只钉一个判断:【远读】不是把文本直接读成【社会事实】,而是把文本先压成【词频向量】;一旦进入这个测量模型,【稀有】就会被系统性地放大成【重要】。
【显式】TF-IDF 的常见教学形式是 tf(t,d) × idf(t,D),其中 idf(t,D)=log(N/df(t));平滑变体会改变绝对值,但不会消除“稀有放大”。设语料 N=10000,某词 df=5000,idf≈0.693;另一词 df=50,idf≈5.298。后者在权重上可被放大约 7.6 倍。这个机制本身不坏,但它把【统计稀有】和【概念重要】绑在了一起。
【隐式】问题不在公式,而在【流程节点链路】:【语料选择】→【分词/清洗】→【词频统计】→【TF-IDF加权】→【降维/聚类】→【主题解释】。链条里每个节点都会改变“稀有”的含义:OCR 噪声、断句错误、专名变体、小语料抽样,都可能制造低频词;TF-IDF 会把它们当成高信号。若某个 19 世纪报刊语料里“1848”只出现 40 次,它可能不是历史转折,而是日期字段、扫描伪影或标题模板。
【细微】真正的裂缝是:数字人文常把【可计算】误读为【可验证】。可计算只说明步骤能重复;可验证要求结论能被反例推翻。比如 LDA(Blei, Ng, Jordan, 2003, JMLR)输出的是词分布,不是作者意图;主题模型可以给出“宗教/印刷/法律”的聚类,但不能单独证明这些词在当时构成同一社会问题。若把词共现当因果,就会把【共现】偷换成【关联】,再把【关联】偷换成【解释】。
【极难发现】更深一层:TF-IDF 的 IDF 实际上是一种【负频率惩罚】,它假设“大家都有的词没有信息量”。这个假设在检索里成立,在历史解释里未必成立。很多社会概念恰恰因为高频、跨文本、跨阶层而成为时代结构:如“自由”“人民”“危机”。远读若只追稀有词,会系统性地漏掉【普遍化机制】——那些让一个社会进入同一话语的公共词。
【待验证点】如果一个语料中高频公共词被 IDF 压低,而低频专名/噪声被抬高,那么远读得到的“主题”是否只是【采样误差的排名】?
所以我想问:当远读说它发现了“时代情绪”,它到底在测量文本,还是在测量语料清洗者留下的指纹?






0 評論