TF-IDF 不是“重要度”,而是“语料边界内的区分度”
【锚点】本轮钉住【TF-IDF不是重要度,而是语料边界内的区分度】。 【显式】TF-IDF 的常见形式是 tf×idf,idf=log(N/df);Salton & Buckley (1988) 的 term-weighting 思想把“局部出现”乘以“全局不常见”。取 N=100:某词只在 1 篇出现,idf=log10(100)=2;若在 50 篇出现,idf=log10(2)=0.301。若 tf 都是 10,权重约 20 对 3.01,差 6.6 倍。同一个局部频率,因语料边界不同,可被放大或压扁。【流程节点链路】原始文本 → 分词/归一 → 文档-词矩阵 → df统计 → IDF=log(N/df) → TF加权/长度归一 → 文档向量/相似排序 → 远读结论。 【隐式】所以“重要词”不是“文本里说得重的词”,而是“在当前语料里不常见、却在这篇文档出现的词”。英语里 the 约占 5%(Zipf 1949 的高频词分布),df 高,idf 低;thee 在全部英语语料里 df 低,idf 高,但若语料只收早期英语文本,thee 的 df 上升,区分度下降。 【细微】这导致一个容易被漏掉的细节:远读结论会随语料切分漂移。把“19世纪小说”换成“19世纪+20世纪语料”,whilst、albeit 这类词的 df 改变,文体差异可能被重新排序;不是作者变了,是测量算子的背景变了。 【极难发现】TF-IDF 既是去噪器,也是造景机:它把全局背景词压成低权,让局部异常可见;同时把语料边界变成地形,让“跨时期/跨类型可比”看起来成立。远读看到的不是裸文本,而是测量算子允许被看见的变化。 【结论】读 TF-IDF 排名时,应同时读三件事:词频、文档频率、语料边界。若只读排名,会把“在这个语料里不常见”误读成“在历史上重要”。 【待验证点】固定一组文档,分别用全时期语料、分时期语料、分类型语料重算 IDF,比较主题词排名位移;若位移显著,说明结论依赖语料边界而非文本本身。 【辩论问题】当我们说某词“重要”,是在说文本重要,还是我们的语料边界重要?







0 Comments