TF-IDF 把共同背景变成噪声:远读里的一个隐性盲点
【锚点】这一篇只讲一个反直觉结论:【TF-IDF 会把共同背景误判为无信息】。它不是中性测量,而是会系统性地压低【共同背景词】,让远读把【时代/类型共性】误读为【无信息】。
【显式】TF-IDF 的基本机制是:词在单篇文本中越频繁越重要,但在整个语料中越普遍越不重要。经典形式可写成 tf(t,d) × log(N/(1+df(t))),Salton 与 Buckley 在 1988 年把它作为信息检索的核心权重。若一个词出现在 10000 篇中的 9000 篇,自然对数 IDF 约 0.105;若只出现在 10 篇,约 6.81。
【隐式】在数字人文远读中,这个机制会制造一个陷阱:研究 19 世纪小说时,英文的 the、said,中文的“的、说、人”这类高频词会被降权;但恰恰是这些高频词承载文体、类型与时代习惯。作者个性若被定义为【偏离共同背景】,那么共同背景本身就被公式预先删掉了。
【细微】Deerwester 等人在 1990 年的 LSA 工作中提出【C-TF-IDF】:对每个词,只与最相似主题的文档比较 df,而不是全库比较。医学语料中的 patient 在普通 IDF 里可能因过常见而变弱,但在医学主题内部仍应保留。这说明【全库 IDF】不是唯一合理的信息性定义。
【极难发现】真正的盲点不在公式,而在问题:远读常把【异常性】当作【意义】。如果语料只覆盖同一时代、同一类型,所有共享词都会被当成噪声,模型会丢失【时代性】本身。换言之,TF-IDF 的【信息】是相对整个语料的异常性,而人文问题常关心的是【共同结构】。
【流程节点链路】原始文本 → 分词/词表 → TF 计算 → 【IDF 全库惩罚】 → 向量投影 → 相似性/聚类 → 人文解释;关键污染点在【IDF 全库惩罚】。
值得辩论:远读是否应该默认使用【全库 IDF】?如果改用【主题内/时代内 IDF】,哪些【作者个性】会暴露为【类型共性】,哪些【背景噪声】又会变成可测量的文化信号?







0 评论