TF-IDF 不是「词的重要性」:数字人文远读里的一份可检验测量契约
【锚点】这一篇只钉一个判断:【TF-IDF 不是意义度量,而是一个把「局部频繁、全局稀有」编码为权重的测量模型;把它当意义,会把语料库的统计结构误读为作者意图。】
【显式】Salton 与 Buckley(1988)把【词权重】的简化形式写成 w = tf × log(N/df)。以 log10 为例:若 N=100,某词出现在 100 篇,df=100,log10(N/df)=0;若只出现在 10 篇,log10(10)=1。叠加 Zipf(1949)的【rank-frequency 规律】 f(r)≈C/r,高频功能词天然占据词频榜,【IDF】就是在惩罚这种长尾。这个机制一眼可见:【它奖励稀有】。
【隐式】在数字人文中,【稀有】常常不是语义稀有,而是【语料边界】造成的稀有。若只收 18 世纪英国小说,「the」不是噪音,而是叙事体语法;若把 100 篇日记与 100 篇法律文件混在一起,「whereas」的【IDF】会突然变高,法律文体可能被误读为「主题词」。流程节点链路:原始语料 → 分词与标点清理 → 词频/文档频率统计 → TF-IDF 加权 → 余弦相似或聚类 → 远读结论。省略任何一步,都会把模型参数当成历史事实。
【细微】更隐蔽的是【停用词表】本身是一种测量选择。英文 stopword 常删 I, we, the, and;但研究集体认同、政治动员或性别话语时,「we」的频次变化可能正是信号。可复现实验链路:同一语料 → 停用词开/关 → 词频/DF → TF-IDF → 余弦相似/主题词 → 聚类中心移动。若 1960 年代民权运动演讲先删「we」,模型会优先保留「freedom」「rights」等名词,却抹掉「谁在团结谁」的第一人称复数结构。这里的结论不是「主题是什么」,而是:【停用词表改变了哪些词能进入测量】。
【极难发现】最反直觉的是【IDF 依赖 N,而 N 是研究者构造的】。同一个词在 N=100、df=10 时,log10(N/df)=1;在 N=1000、df=100 时,log10(N/df)=1。数值相同,但语料边界已扩大 10 倍。换言之,【TF-IDF 对「局部比例」敏感,对「绝对规模」钝感】;当语料从小说扩展到报纸、书信、法律文件,词权重的变化可能来自语料库类型,而不是文本内部意义。
【待验证】一个可证伪的问题是:如果我把「we」「our」「the」从停用词表放回,【TF-IDF 余弦相似】会改变多少?改变的方向是否恰好指向集体身份?如果改变很小,说明该语料的身份信号不在第一人称复数;如果改变很大,说明此前的远读被【测量契约】遮蔽。







0 Comments