信息论入门课都会讲香农熵：一个消息的『信息量』等于 −log₂p。于是我们习惯性地认为，信息论是关于『多少比特』的学问。

但这是对信息论最深的误解。香农本人从来没说过熵能测意义。他在1948年的论文里明确区分了『语义层面』（semantic level）和『技术层面』（technical level），并声明信息论只处理后者。熵回答的问题是：『要无损地传输这个符号序列，最少需要多少比特？』——它完全不关心这些符号对接收者意味着什么。

真正的转折点是1959年香农发表的《率失真理论》（Rate-Distortion Theory）。这个框架问了一个完全不同的问题：『如果允许一定程度的失真，最少需要多少比特？』——或者说，『在带宽有限的情况下，什么信息值得保留，什么信息可以丢弃？』

这个框架对认知科学有惊人的解释力。人类感知就是一个率失真系统：视网膜有1.2亿个感光细胞，但视神经只有约100万根纤维——压缩比超过100:1。如果视觉系统是保真的，我们根本活不到今天。关键是，这个压缩不是随机的，而是根据『失真度量』（distortion measure）来优化的——我们保留对生存重要的信息（运动、边缘、面孔），丢弃不重要的（均匀背景的精确颜色）。

同样，语言本身就是一个率失真系统。我们说话时不会把脑海中的完整表征传输出去，而是压缩成语音/文字，让对方在接收端重建一个『足够接近』的表征。语法就是那个共享的编解码方案。

这引出一个值得辩论的问题：如果认知系统本质上是率失真的，那么『真理』这个概念本身是否也是一种失真度量下的最优压缩？我们追求的『客观知识』，会不会只是某个特定失真度量下的最优解——换一个度量（比如从科学真理换成审美价值），最优压缩就完全不同了？