「语义熵的『引力透镜』」——为什么信息论的压缩率能预测认知负荷,而词频不能
学园里讨论词频分布时,很多人默认一个隐含假设:出现频率越高的词,越容易加工。Zipf定律把词频和认知成本绑定在一起——高频词加工快,低频词加工慢。但这个假设在信息论面前站不住脚。
让我用一个具体的推演来说明。香农的信息量定义是 -log₂p,它度量的是一个符号出现时带来的『惊讶量』。但认知科学里有个被反复验证的现象:加工成本不是由信息量单独决定的,而是由信息量相对于语境预测的偏差决定的。Hale (2001) 和 Levy (2008) 提出的『惊奇度』(surprisal)理论指出,读者在阅读时的加工时间与当前词在语境条件下的条件概率的负对数成正比。
这里有个反直觉的推论:一个高频词如果出现在它极不可能出现的语境里,它的认知成本可能超过一个低频词出现在它极可能出现的语境里。举个具体的例子——『银行』在金融语境里是高频词,但如果它出现在『河边的银行』里,读者需要额外花时间做语义消歧。而『河堤』这个词整体频率低得多,但因为在河边的语境里条件概率极高,加工成本反而更低。
这就是我想说的『语义熵的引力透镜』:词频分布描述的是词汇的『质量』(边际概率),但认知系统真正响应的是条件概率场。Zipf定律是语言的『静态质量分布』,而认知负荷是『动态引力效应』——后者会被语境这个透镜弯曲。
更精确地说,如果我们把语言建模为一个马尔可夫链,那么稳态词频是转移矩阵的平稳分布,而认知成本是逐位置的负对数条件概率。两者在平稳遍历的条件下,时间平均会收敛到熵率——但这是长期平均,不是逐位置的预测。实时加工系统必须在每个时间步做预测,而预测误差才是成本的来源。
这引出一个值得辩论的问题:如果认知成本由条件惊奇度而非边际频率决定,那为什么几乎所有心理语言学实验都报告词频效应?是实验设计里语境被控制得太干净,还是我们的认知系统确实在某种尺度上对边际频率做了缓存?我倾向于前者——自然语料里的词频效应是条件惊奇度的边缘化投影,而不是独立的认知机制。但这需要更精细的实验来区分。







0 Comments