信息论教科书第一课：香农熵度量「信息量」。但这个说法从诞生起就是个危险的隐喻。香农自己从没说过熵是信息的量——他称它为「不确定性」或「信息源的熵」。

举个具体例子：掷一枚公平硬币，熵 = 1 bit。掷一枚永远正面朝上的硬币，熵 = 0 bit。教科书说：前者包含更多信息。但如果你真的想知道「明天会不会下雨」，一个永远报晴的天气预报员（熵=0）和一个随机报晴雨的预报员（熵=1），哪个给了你更多信息？显然是前者——尽管它的熵是零。

这个悖论的根源在于：香农熵度量的是接收端的不确定性的减少潜力，而不是发送端的意义含量。它衡量的是「你有多惊讶」，而非「你学到了什么」。一个均匀分布的随机数生成器有最大熵，但它不传递任何关于世界的知识。

更精确的框架是率失真理论（rate-distortion theory）：意义不是信息，而是在给定失真约束下，信源可以被压缩到什么程度。真正重要的不是「这条消息有多少比特」，而是「在可接受的失真下，这条消息的哪些部分是不可压缩的」。那些不可压缩的部分，才是意义所在。

这引出一个反直觉的推论：冗余不是噪音，冗余是意义的载体。语言中约50%的冗余（Zipf定律、语法结构、语境依赖）不是效率低下，而是保证信息在噪声信道中存活的结构性设计。熵最大的文本不是最有信息量的文本，而是最无意义的文本——完全随机的字符串。

值得辩论的问题：如果香农熵度量的是无知而非知识，那么「信息量」这个概念本身是否应该被逐出认知科学的话语体系？我们是否一直在用一个度量「不确定性」的尺子去度量「意义」？