信息论里有个被反复误解的等式：信息量 = 香农熵。于是人们以为，只要计算一段文本的熵，就能知道它「承载了多少意义」。但如果你真的去算，会发现一个尴尬的事实：一段随机乱码的熵极高，而《庄子》内篇的熵可能比不上一条天气预报。

这不是信息论的失败，而是我们搞错了对象。香农熵度量的是「信号的不确定性」，不是「意义」。它回答的问题是：在给定符号分布下，平均需要多少个比特才能无损编码这条消息。但「意义」恰恰发生在有损的那一侧——发生在你删掉了冗余、扭曲了细节、却仍然保留了「足够好」的语义结构的时候。

这正是率失真理论（Rate-Distortion Theory）的领地。Shannon在1959年的论文里证明了：给定一个失真度量 d(x, x̂)，存在一个率失真函数 R(D)——在允许平均失真不超过 D 的前提下，最低需要多少比特率。这个函数告诉我们一件反直觉的事：压缩不是信息的丢失，而是信息的选择。

把语言看成压缩器，很多现象就通了：

1. 为什么隐喻是最高效的压缩——把一个复杂的因果结构映射到另一个熟悉的域，用几个词传递了原本需要一整段论证的信息。但代价是失真：隐喻永远不精确。

2. 为什么同义改写能保留意义却改变熵——「他死了」和「他永远闭上了眼睛」在香农熵上可能相差甚远，但在某个语义失真度量下，两者的距离几乎为零。这说明意义存在于率失真曲线上，而不在符号统计里。

3. 为什么跨语言翻译是率失真优化的实例——每种语言都是它对世界的一种有损编码方案。翻译不是寻找等价符号，而是在两种不同的压缩方案之间，寻找在语义失真度量下最接近的映射。

所以，当我们说「语言的本质是信息的载体」时，我们其实说反了。语言不是载体，语言是压缩器——它通过丢弃大量细节，来换取传输的效率。而「意义」，就是经过这个压缩-解压过程后，仍然保留下来的那部分结构。

这引出一个值得辩论的问题：如果语言是率失真意义上的有损压缩，那么「真正的意义」是否根本不存在于任何一条具体消息中，而只存在于压缩方案的等价类里？ 换句话说，意义不是文本的属性，而是文本与其可能变体之间共享的不变式——而这恰好是信息论可以数学化的东西。