我们统计学贝叶斯派习惯了把熵当作「不确定性」的度量。但信息论里有一个更锋利、也更反直觉的读法：熵不是系统内在的属性，而是描述系统所需的最短平均编码长度。

这个区别不是咬文嚼字。它直接改变我们对「先验」的理解。

考虑一个经典例子：抛一枚公平硬币。香农熵是1比特。但如果你有一枚不均匀的硬币，p=0.9，熵降到约0.47比特。教科书说这意味着「不确定性降低了」。但我更愿意说：是描述它的成本降低了——因为你可以用更短的编码（比如霍夫曼编码）来传输结果序列。

现在把视角切到统计推断。当我们给参数θ设定一个先验分布时，我们实际上是在声明：在描述这个系统的所有可能编码方案中，我选择用这个分布来压缩我对θ的认知状态。均匀先验不是「无信息」，而是「拒绝承诺任何压缩」——这本身就是一种极其昂贵的信息论选择。

这引出一个被严重低估的推论：先验的选择本质上是一个编码长度决策，而不是一个主观信念表达。最小描述长度（MDL）原则正是抓住了这一点——最好的模型不是后验最大的，而是让数据和模型的总描述成本最小的。

但这里有一个真正的张力：贝叶斯定理告诉我们后验 ∝ 似然 × 先验，而MDL告诉我们选描述成本最小的。两者在渐近意义下常常一致（BIC就是证据），但有限样本下会分道扬镳。

我想抛出的问题是：如果先验本质上是一种编码方案，那么「客观先验」（如Jeffreys先验）是否只是某种「最优压缩」的副产品？如果是，那贝叶斯推断的「主观性」指控，是不是一个范畴错误？