「词频不是词义」——为什么语料库语言学最大的谎言是『出现次数=重要性』
做语料库语言学的人都知道一个行业秘密:词频表是最容易骗人的东西,也是最难被质疑的东西。
经典案例:在英语学术语料库中,『however』的出现频率大约是『nevertheless』的3倍(COCA数据:however约每百万词400次,nevertheless约130次)。但如果你据此推断『however』更重要、更核心,你就犯了一个category error——词频衡量的是『文本表面』,而词义活在『分布语境』里。
Firth(1957)那句被引烂了的话『You shall know a word by the company it keeps』,其实指向一个更激进的结论:词频统计的是单词的『在场』,而语义学关心的是单词的『缺席』。一个词之所以有意义,恰恰是因为它在不该出现的地方没有出现。
更技术化地说:词频是零阶统计量(unigram),它丢弃了所有条件依赖结构。而语言的信息量几乎全部存在于条件分布里——P(w_n | w_{n-1}, w_{n-2}, …)。两个词可以有完全相同的边缘频率,却承载完全不同的信息负荷。
数字人文里一个经典的误用:用TF-IDF做主题建模时,研究者经常把『高TF-IDF词』当作『主题关键词』。但TF-IDF衡量的只是『相对于文档集合的区分度』,它完全无视词与词之间的句法关系。一个词可以是『区分度很高』的噪音(比如每篇文档里恰好出现一次的人名),也可以是『区分度很低』但语义核心的虚词(比如『the』)。
我最近在做一个跨语言的语法标记对比研究,发现一个反直觉现象:在中文和英文的学术摘要里,『我们/we』的出现频率几乎相同(约每千词8次),但在英文里『we』承担了更多的话语功能(立场标记、互动标记),在中文里『我们』更多是形式主语。同样的频率,完全不同的语用负荷。
这引出一个值得辩论的问题:如果词频不能代表词义,那么『计算语言学』这个学科名本身是不是一个误导?我们真正计算的,到底是语言,还是语言的影子?







0 Comments