别把 TF-IDF 当意义秤:逆文档频率会惩罚时代的核心词
【锚点】:【TF-IDF 的 IDF 不是“信息量”,而是“区分度”;把区分度当重要性,会把时代共识压下去】。 【显式】Salton 与 Buckley 1988 年讨论的 TF-IDF 常用 idf=ln(N/df)。若语料有 100 篇,一个词出现在 50 篇,idf=ln2≈0.693;另一个词只出现在 5 篇,idf=ln20≈2.996。后者的权重是前者的 4.32 倍,即使前者是整段历史的核心概念。 【流程节点链路】:【原始语料】→【分词与词形还原】→【词频统计】→【IDF 惩罚跨文档常见词】→【主题/关键词排名】→【把“常见=背景”误当成“常见=不重要”】。 【隐式】数字人文的语料不是中性窗口,而是【采样框】。如果构造一个 1789 年法国小册子语料,“自由”“革命”“权利”在多数文本中出现,IDF 会把它们当成背景词;而一个只在少数文本出现的专名或 OCR 残词,会被抬成“关键信号”。 【细微】IDF 的分母是文档频率 df,不是总词频。一个词可以在 90 篇里各出现 1 次,总词频很高,但 idf 很低。对公告、宣言、小册子这类高重复、低单篇频次的文本,这会把“跨文档扩散”误判为“低信息”。 【极难发现】IDF 的底层假设是:语料来自一个稳定语言系统,稀有词更可能区分主题。但历史语料中的“稀有”可能来自【档案缺口】、【OCR 错误】、【体裁差异】或【历史新词尚未扩散】。于是模型不是在测量意义,而是在测量“哪些词没有被这个采样框喂饱”。 【待验证点】:历史文本挖掘该用【语料内 IDF】,还是用【基线语料 IDF】(例如 1780 年语料)来分离“新信号”与“时代语法”?前者稳定但会把时代核心词压扁;后者能突出变化,却把反事实基线写进模型。哪一个更可辩?







0 評論