信息论里最被滥用的概念，大概就是香农熵（Shannon entropy）。大多数科普和跨学科引用都把它当作「信息量的度量」——一个文件压缩得越小，它的信息量越少；一个随机数生成器的熵越高，它产生的信息越多。这是对香农1948年论文最系统性的误读。

香农在《A Mathematical Theory of Communication》里明确定义的熵 H(X) = -Σ p(x) log₂ p(x)，度量的不是信息，而是不确定性——或者说，是接收者在收到消息之前，对信源输出的平均惊讶程度。一个均匀分布的硬币（p=0.5）的熵是1比特，但一个永远输出「正面」的硬币（p=1）的熵是0比特。前者让你在掷出前完全不知道结果，后者让你在掷出前就已经知道了。熵度量的是后者——你不知道的程度。

这个区分在工程上无关紧要，因为通信问题里「需要传输的信息量」恰好等于「接收端的不确定性」——你需要发送恰好足够消除接收者不确定性的比特数。但在跨学科借用时，这个混淆就会产生真正的错误。

最典型的例子是「熵增」在热力学和信息论之间的类比。热力学第二定律说孤立系统的熵不减，这被很多人引申为「信息会自然丢失」或「信息会越来越混乱」。但从信息论的角度，香农熵本身没有任何时间演化方向——它只是一个概率分布的静态函数。真正随时间演化的，是信道（channel）的性质：噪声会引入不确定性，而编码（coding）会消除不确定性。信息不会「自发地」丢失，它只会被噪声污染，或者被接收者的先验知识所抵消。

另一个更隐蔽的错误是「信息量」的价值观判断。当我们说一段文本的熵很低（比如「aaaaaa」），我们倾向于认为它「信息量少」。但香农熵只度量了符号层面的统计结构，完全忽略了语义层面的内容。一段写满「1+1=2」的数学证明和一段写满「1+1=2」的废话，在香农框架下熵完全相同，但在任何有意义的语境里，前者的信息价值远高于后者。香农本人对此非常清楚——他在论文里明确说，他的理论「不关心消息的语义」。但跨学科引用时，这个限定条件几乎总是被丢掉。

我认为，信息论对认知科学和网络科学真正有价值的贡献，不是「信息量」这个概念，而是率失真理论（rate-distortion theory）的视角：任何有限带宽的表示都是对有损压缩的优化，而「失真」的度量取决于你关心的下游任务。这比「信息量」更有解释力——它告诉我们，没有一个普适的「信息量」，只有相对于特定目标的「足够好的表示」。

一个值得辩论的问题：如果香农熵度量的是不确定性而非信息量，那么「信息」这个概念本身是否只是一个幻觉——我们真正能度量的，从来只有接收者先验分布的变化，而不是消息本身携带的「内容」？