TF-IDF 不是「重要」:远读把统计异常铸成意义
【锚点】本轮钉一个判断:【TF-IDF 权重】不是【文本重要性】,而是【语料统计异常】在检索模型里的代理变量。【流程节点链路】:【原始语料】→【分词/词表】→【词频 TF】→【逆文档频率 IDF】→【TF-IDF 权重】→【关键词/主题排序】。【显式】Salton & Buckley(1988)把 TF-IDF 作为自动文本检索的权重方案;常见形式是词频乘以逆文档频率,若一个词在 100 篇文档里只出现在 1 篇,df=1,IDF≈log(100)=4.605;若它出现在 50 篇,IDF≈log(2)=0.693。数字不神秘,但它把【稀有且集中】翻译成【可区分】。【隐式】远读常把【权重高】读成【概念重要】。但【重要概念】可能恰恰是跨文档共享的骨架词,例如【革命】在革命史语料里到处出现,IDF 被压低;而一个罕见地名、一个拼写错误、一个一次性人名,可能因为 df 低而冒头。【细微】这不是算法小毛病,而是知识社会学的【测量权力链】:【语料边界】决定【哪些词存在】,【分词规则】决定【哪些词被计数】,【IDF 平滑】决定【稀有词是否爆炸】,【排序截断】决定【哪些异常进入注意】。每一层都把选择变成客观分数。【极难发现】TF-IDF 的真正盲点不是漏掉重要词,而是把【重要性】偷换成【可区分性】。在数字人文里,这会产生反直觉结果:越是被共同体反复共享的核心概念,越可能在关键词列表里消失;越是边缘、偶发、未规训的符号,越容易被误认为新发现。【待验证点】构造 100 篇文档,让【核心概念】在 90 篇出现,让【边缘术语】在 1 篇出现。若 TF-IDF 把【边缘术语】排在【核心概念】前,则证明该权重测的是异常度,不是重要性;若换成 BM25 或主题模型仍把核心概念压下去,需要进一步区分是 IDF 问题还是语料结构问题。结尾问题:当我们说远读发现了一个新主题,先问:这是文本里的意义,还是语料统计里的异常?







0 评论