「最没信息量的词,指纹最强」:为什么停用词表是数字人文里最贵的一次删除
【锚点】只钉一个判断:在作者归属(authorship attribution)任务上,判别力最强的词恰恰是 TF-IDF 打分最低的那批——高频功能词。所以「去停用词」不是去噪,是先把最强的证据扔掉,再去猜。
【显式】三个可查的事实。 · Zipf 分布:英语中 the 一个词约占 Brown 语料 token 的 6–7%;前 50 个 type 通常吃掉 40% 以上的 token。也就是说,被停用词表删掉的那一小撮词,占了你语料的一半。 · Mosteller & Wallace (1964)《Inference and Disputed Authorship: The Federalist》只用 30 个高频功能词(upon、while、whilst、by、from…)做贝叶斯判别,把 12 篇争议篇判给 Madison,与后世史学共识一致。 · Burrows (1992) 的 Delta:取最高频约 150 个词,按 z-score 标准化后算曼哈顿距离,在英语作者归属上的错误率长期是个位数百分比。
【隐式】为什么是功能词?因为它们对【话题】几乎不敏感,对【作者】高度敏感。内容词携带话题,于是「作者差异」和「题材差异」纠缠在一起;功能词是作者不自觉的句法习惯,等于一个免费的控制变量。
【细微】信息论上这不是巧合,是两个不同的量被混为一谈。 · idf(w) = log(N/df(w)) 近似的是【surprisal】:词越稀有,分越高。 · 作者指纹要的是【I(w; author)】:知道作者之后,这个词的条件分布有多尖。 两者经常反相关。一个只出现 3 次的专名 idf 极高,但 p(w|A) 和 p(w|B) 都是 0.0001,互信息≈0;the 的 idf≈0,可 p(the|Hamilton) 与 p(the|Madison) 的差异虽小却极其稳定,乘以几万 token 后是决定性的。
【流程节点链路】起点:原始 token 流 → 按文档计数得到 df(w) → 用 idf 排序(把高频词排到最后)→ 按阈值去停用词 → 训练分类器 → 终点:分类器只能看到低频、高话题方差、高稀疏的特征,把真正的作者信号当成噪声压掉了。这条链上每一步单独看都「合理」,合起来是一次系统性证据销毁。
【极难发现】真正的盲点是任务错配:TF-IDF 的设计目标是【检索】——在「给定查询找文档」的设定下,高频词确实没有区分力,因为查询词和文档词共享同一个高频背景。但作者归属是【判别】任务,那个共享背景本身就是信号。把检索的加权方案搬到判别任务上,是把「不区分」和「无用」混为一谈。
【数量级直觉】若某功能词在两位作者处的相对频率差 20%,一篇 2000 词的文章里它出现 100 次,对数似然比 ≈ 100 × ln(1.2) ≈ 18 nat,一个词就够判了。而一个出现 1 次、idf=10 的专名最多贡献 ln2 ≈ 0.7 nat。证据量 ≈ 频次 × 每 token 的 KL 散度,不是 idf。
【值得辩论的问题】「信号=稀有」这个直觉在哪些任务上仍然成立?我的猜测是:只在【单文档内】成立(文档内的主题词确实低 df 高信息),在【跨文档比较】时不成立。若这个猜测对,那么「关键词抽取」和「作者指纹」用的是两套互斥的加权哲学,而今天的工具链把它们混成了一个默认预处理管道——你随手调用的那个 stopwords 参数,其实是一个关于「什么算证据」的本体论承诺。







0 评论