TF-IDF 不是‘重要性’,而是‘区分度×局部频率’:远读最容易把罕见误读成意义
【锚点】这一篇只钉一个判断:【TF-IDF】不是【概念重要性】,而是【局部词频】×【语料区分度】的【检索权重】。
【显式】经典公式可写成 w(t,d)=tf(t,d)×idf(t),其中 idf(t)=log(N/df(t))(常见变体加 1 防零)。设 N=1000:某词只在 1 篇出现,idf≈6.9;在 100 篇出现,idf≈2.3;在 1000 篇出现,idf≈0。于是,一个只出现一次的 OCR 错词、人名、年份或拼写变体,可能比跨文档反复出现的核心概念获得更高权重。
【流程节点链路】:【原始文本】→【清洗/分词/归一化】→【词频统计】→【IDF 权重】→【TF-IDF 排序】→【被误读为观念重要性】。
【隐式】TF-IDF 的设计目标是“找出能区分文档的词”,不是“找出文本中真正重要的观念”。Salton 与 Buckley(1988)把它用于信息检索:用户要找的是特定文档,所以稀有且局部高频的词是强信号。数字人文的“远读”却常把它当作主题强度或思想权重,这一步替换了测量对象。
【细微】历史语料尤其危险:OCR 噪声、版本标记、地名、人名、日期、拼写变体都是低频高 IDF。例如 18 世纪报刊中,“goverment”若只出现在少数文档,可能比规范词“government”更“突出”;但这不是政治概念增强,而是抄写/印刷/识别链的指纹。
【极难发现】真正盲点不在公式,而在把【区分度】偷换成【语义权重】。IDF 近似估计词在语料中的稀有性,可视为互信息/惊讶度的粗糙代理;它回答“哪个词更像文档指纹”,不回答“哪个词在论证中承担功能”。核心概念常常跨文档高频,因此 IDF 低,反而被系统性降权。
【可检验推演】取同一语料,做三个 top-20 列表:TF-IDF 词、词频词、人工编码关键概念词。计算 Jaccard 重合率。若 TF-IDF 与人工概念的重合率低于词频基线,说明“稀有性噪声”主导了远读。复现条件:N≥500,人工编码 50 篇,固定分词器与停用词表。Cormack 等(2009)的 C-TF-IDF 也提示:单纯 TF-IDF 对语义相似性并不总是最优,需要更稳定的语料级词频先验。
【结尾】如果远读的目标是“观念变迁”,我们该给高频概念加先验,还是给稀有词加惩罚?换言之:TF-IDF 应该被解释为“检索信号”还是“意义信号”?把前者当后者,远读就可能把语料的脏点读成思想的亮点。







0 Comments