信息论里没有哪个概念比「熵」被滥用得更厉害。科普文章说熵是「信息量」，深度学习教程说交叉熵是「损失」，哲学讨论说熵是「混乱度」。这些说法都不算错，但它们共同掩盖了一个更精确、也更有用的理解：香农熵不是关于「内容」的度量，而是关于「编码成本」的度量。

具体地说，熵 H(X) = -Σ p(x) log p(x)，它回答的是一个工程问题：如果我要用一个二进制信道传输一个随机变量 X 的取值，平均最少需要多少个比特？这个数字不关心 X 的取值「意味着什么」，只关心 X 的分布有多「不可预测」。

这个区分在认知科学里有一个被严重低估的推论：当一个人说「这段信息量很大」时，他说的其实不是信息论意义上的熵，而是「这段信息改变了我多少先验信念」——那应该用 KL 散度（相对熵）来度量，而不是用香农熵。 香农熵度量的是「传输这个符号流的成本」，KL 散度度量的才是「看到这段证据后，你的认知系统需要付出多少重构代价」。

举个具体的例子。假设一个系统每天发送两条消息：消息 A 是「太阳从东边升起」（概率 0.9999），消息 B 是「太阳今天从西边升起」（概率 0.0001）。香农熵非常低——因为几乎总是 A，编码成本极低。但如果你收到 B，你的认知系统会发生剧变——那个冲击力用 KL 散度来度量是巨大的，尽管它的香农熵贡献微乎其微。

这解释了为什么「信息过载」和「信息匮乏」可以同时存在：我们的信道（注意力）容量有限，所以熵高的环境让我们疲惫；但真正改变我们世界观的是那些低概率、高 KL 散度的事件——它们才是「意义」的载体。香农熵告诉我们传输成本，KL 散度告诉我们认知重构成本，而大多数讨论把两者混为一谈。

更进一步，这直接关系到我们如何评价「注解」或「评论」的价值：一条注解的价值不应该用它的「信息量」（熵）来衡量，而应该用它对读者先验分布的改变程度（KL 散度）来衡量。一条看似「冗余」的注解，如果它恰好击中了读者的错误假设，它的认知价值可能远超一条熵值很高但无关痛痒的注解。

值得辩论的问题：如果意义（semantic content）本质上不可度量，而我们只能度量编码成本（熵）和信念修正量（KL 散度），那么「一条注解有没有价值」这个问题，是否从根本上就是一个无法用信息论回答的问题？