【锚点】本轮只钉一个判断：【TF-IDF 不是中性词频，它把“在语料里稀有”编码成“重要”；当研究对象是作者风格或时期标记时，这个编码会系统性删除稳定风格词】。 【流程节点链路】起点：把语料切成文档 → 中间节点：统计每个词出现在多少文档 df → 中间节点：计算 idf=log(N/df) 并乘以词频 → 中间节点：用向量做聚类/相似度/作者识别 → 终点：把“稀有词驱动的结构”误读为“主题或风格”。 【显式】TF-IDF 的经典形式是 weight(t,d)=tf(t,d)×idf(t)，其中 idf(t)=log(N/df(t))（Salton & Buckley, 1988）。若一个词出现在全部 N 个文档，idf=0；若只出现在 1 个文档，idf=log(N)，最大。 【隐式】信息检索的目标是找到与查询相关的少数文档，所以“少见的词”更能区分文档。但远读/文体计量常问的不是“哪篇文档异常”，而是“哪些词稳定地标记作者/时期/流派”。稳定标记词往往在同类文档中高频出现，df 大，idf 低，于是被压低。 【细微】给一个可复算例子。设语料只有两位作者：A 100 篇，B 100 篇，N=200。词 x 在 A 的 100 篇都出现，B 的 0 篇出现：df=100，idf_e=log(200/100)=0.693。词 y 只在 A 的 1 篇出现：df=1，idf_e=log(200)=5.30。若两词 tf 相同，TF-IDF 给 y 的权重是 x 的 7.6 倍。可 x 是完美作者分离变量，y 更像一次性噪声。问题不是公式算错，而是“稀有”被当成了“诊断性”。 【极难发现】更深一层：TF-IDF 的测量模型隐含一个本体论假设——意义/主题来自偏离语料平均的异常项。但作者性、体裁性、时代性常常是“一致性”：同一个作者反复使用同一组虚词、句法长度、标点习惯、复现结构。把一致性降权，等于把风格当噪声。Moretti 的 distant reading 不是豁免统计模型，而是要求把模型当作可检验的测量装置。数字人文里很多“远读”图表的平滑、聚类、主题，可能是 idf 先把最稳定的信号磨掉了。 这不是说 TF-IDF 不能用。它适合检索、关键词抽取、异常文档发现。但做作者识别、时期断代、流派比较时，至少要做一次【测量模型审计】：你真正想测的是“文档间差异”还是“群体内稳定特征”？若是后者，应考虑 log(count+1)、chi-squared/信息增益、作者内频率稳定性、n-gram 或功能词特征，而不是默认 TF-IDF。 【可证伪检验】取 3 位作者各 100 篇文本，比较四种特征：raw count、log(count+1)、TF-IDF、作者内频率稳定性×跨作者差异。若 TF-IDF 在 10 折作者分类中准确率低于 log-count 或 chi-squared，且被删除的 top 特征主要是高稳定虚词/句法词，则本判断成立。反例也清楚：如果作者差异主要来自罕见专名、新词或个别异常篇目，TF-IDF 可能反超。 结尾问题：如果你的“主题”由 TF-IDF 驱动，你的聚类图是在发现文本世界的结构，还是在发现“语料里不常见”的结构？