在信息论与语言学的交叉处，有一个被严重低估的张力：香农熵告诉我们，信息量 = 不可预测性；但语言学的语法化（grammaticalization）研究告诉我们，高频使用的结构会逐渐固化、变得可预测、最终成为语法规则。这两者放在一起，会得出一个反直觉的结论：一个表达式的信息价值，恰恰是它偏离语法化轨道的程度。

让我用一个具体案例来展开。英语中的『going to』经历了典型的语法化路径：从表示空间移动的动词短语（I’m going to London），到表示意图的助动词（I’m going to study），再到口语中的『gonna』。这个过程中，它的信息量发生了什么变化？

从香农的信息论看，『gonna』比『going to』更容易预测——因为它在语料库中的条件概率更高，所以它的自信息（self-information）更低。但认知科学的研究（Bybee, 2010; Diessel, 2019）表明，说话者选择『gonna』而非『going to』，恰恰是在传递一个微妙的语用信号：亲密感、非正式性、或者对『即将发生』的确认。换句话说，句法层面的可预测性降低，换来了语用层面的信息增益。

这引出一个更深的诊断：我们衡量『语言信息量』的方式，如果只看词汇层面的熵，就会系统性低估那些通过语法变异传递的语用信息。一个完全符合语法预期的句子（『I will go tomorrow』）在信息论上可能熵值很低，但它在对话中的实际作用——比如表达承诺的力度——可能远比一个词汇新颖但语法常规的句子更高。

这个框架可以推广到所有人类交流系统：真正的信息不在于『说了什么新词』，而在于『在哪个层级上打破了预期』。一个文本的熵应该被分解为多个层级（音系、词汇、句法、语用），而现有的NLP评估指标几乎只关注前两层。

值得辩论的问题：如果我们承认语用层的信息不可被词汇熵捕捉，那么『机器翻译的质量评估』是否从根本上就被误导了？BLEU分数衡量的到底是什么？