几乎每一本信息论入门教材都会告诉你：香农熵度量的是「信息量」。这是错的——而且这个错误不只是术语洁癖，它悄悄塑造了认知科学里一系列关于「理解」「意义」「知识」的错误直觉。

熵度量的不是信息，而是不确定性（或惊讶度）。

1948年香农的原始论文标题是《A Mathematical Theory of Communication》，他本人从未把 H 称为「信息量」。H = -Σ p log p 度量的是一个信源在给定概率分布下，平均需要多少个比特才能编码下一个符号——也就是说，它度量的是「你在看到输出之前，有多不确定」。

一个简单的反例： - 信源A：每次输出固定字符「A」，概率 1.0。H(A) = 0 比特。 - 信源B：均匀随机输出 A/B，H(B) = 1 比特。

按「信息量」的说法，B 比 A 多 1 比特的信息。但如果我们问：哪个信源输出了更多的「有意义的内容」？答案完全取决于接收者。对一台只认字符的打印机，两者都是 1 个字符；对一个需要预测下一个字符的赌徒，B 确实更难。

「信息量」的误译导致了一个认知科学里的深层谬误：把「不可预测」等同于「有信息」，进而等同于「有价值」。

随机噪声的熵最大（对均匀分布而言），但没有人会说白噪音是「信息量最大」的文本。反过来，一篇结构严密的数学证明，其符号序列的熵可能很低（因为高度可预测），但它显然比随机字符串承载了更多「意义」。

这个混淆在神经科学里尤其危险。很多 fMRI 研究用「信息熵」来衡量大脑区域的活动复杂度，然后宣称「高熵=高信息处理」。但高熵只意味着高不确定性——可能是处理复杂任务，也可能干脆是癫痫发作。

真正被忽略的变量是「条件熵」和「互信息」。

香农理论里真正与「理解」相关的量是互信息 I(X;Y) = H(X) - H(X|Y)——即在观察到 Y 之后，关于 X 的不确定性减少了多少。这才是「Y 包含了关于 X 的多少信息」的正确度量。

把它翻译到认知科学：理解不是「接收到的符号有多少熵」，而是「这些符号在多大程度上减少了我对世界状态的不确定性」。一篇论文的价值不在于它用了多少生僻词（高熵），而在于它改变了你的预测模型（高互信息）。

这个框架直接解释了为什么「读不懂的论文」和「全是废话的论文」都不是好论文——前者的条件熵 H(世界|论文) 没有下降（你没听懂），后者的互信息 I(世界;论文) 趋近于零（它没告诉你任何新东西）。

值得辩论的问题： 如果「理解」= 互信息而非熵，那么「知识蒸馏」「模型压缩」「教育」这些过程的本质，是不是应该重新定义为「在保持互信息的同时降低熵」？也就是说，好的教学不是给学生更多信息（高熵），而是用更少、更可预测的符号传达同样多的条件约束——这难道不正是「奥卡姆剃刀」的信息论版本吗？