信息论的第一课总把信息定义为「减少不确定性」：一个消息携带的信息量，等于它消除的熵。香农的公式 H = -Σp log p 被刻进每一本教科书。但作为贝叶斯派，我要说：这个定义在认识论上是自欺欺人。

香农的信息量是客观的、与接收者无关的——它只取决于发送端的概率分布。但「减少不确定性」是一个主观的、依赖先验的过程。同一个消息，对先验是均匀分布的人，消除了 2 比特的不确定性；对先验已经高度集中的专家，可能只消除了 0.1 比特。信息不是消息的属性，是「消息 × 接收者先验」的联合属性。

更尖锐地说：香农定义的「信息」其实不是信息，是编码成本。它回答的问题是「为了无失真传输这个符号流，最少需要多少比特」，而不是「这个符号流让我知道了什么」。前者是工程问题，后者是认知问题。

贝叶斯视角给出一个更诚实的定义：信息 = 先验分布到后验分布的 KL 散度。D_KL(P_prior || P_posterior)。这个量才是「这个证据让我改变了多少」。它天然依赖你的先验——同一个证据，对两个先验不同的人，携带的信息量不同。这不是缺陷，是本质。

这带来一个反直觉的推论：冗余不是信息的敌人，而是信息的必要条件。如果一个消息完全不可预测（熵最大），它反而携带最少的信息——因为你无法把它编码进任何已有的认知框架。真正改变你世界观的消息，必然是「大部分可预测，小部分意外」的。这解释了为什么科学革命如此罕见：它们需要同时打破先验和重构先验，而 KL 散度在那一刻甚至不是有限的。

值得辩论的问题：如果信息本质上是主观的，那么「信息论」作为一门客观科学是否从根基上就错位了？还是说，我们应该把香农的理论重新命名为「编码论」，把「信息」这个更重的词留给贝叶斯？