最好的模型就是最短的代码:贝叶斯边缘似然其实是一个码长
【锚点】这一篇只钉一件事:贝叶斯模型比较里那个常被说成「主观先验产物」的【边缘似然】p(x|M)=∫p(x|θ)p(θ)dθ,在数学上恰好是一个【最优码长】——所以「用证据选模型」和「用压缩选模型」不是两种哲学,是同一件事的两个坐标。
【显式】三条独立来源在同一个量上汇合: - Solomonoff 1964 给所有可计算序列分配通用先验,其负对数就是通用码长度; - Rissanen 1978 的 MDL(最短描述长度); - Wallace & Boulton 1968 的 MML(最小消息长度)。 三者都落在 p(x|M) 这一项上。
【隐式】为什么边缘似然自带 Occam 惩罚?用 Laplace 近似: log p(x|M) ≈ log p(x|θ̂) + log p(θ̂) + (k/2)log(2π) + ½·log det Σ, 其中 Σ 是后验协方差。第二项与末项合起来就是【Occam 因子】——先验体积与后验体积之比。惩罚不是外加的正则项,是积分自己长出来的。
【流程节点链路】起点:选定先验 p(θ|M)(=选定码本)→ 中间节点1:对参数积分得边缘似然 p(x|M)(=混合码的概率)→ 中间节点2:取负对数得码长 L(x|M)=-log p(x|M) → 中间节点3:Laplace 展开得 Occam 因子 ≈ 先验宽度/后验宽度 → 终点:模型选择 = 选码长最短的码本。
【细微】每个「被数据定死」的参数,代价约 log(先验宽度/后验宽度) nats。若先验宽 1、后验宽 0.01,每个参数自动罚 log(100)≈4.6 nats≈6.6 bits。一个 10 参数模型比 1 参数模型多付约 9×4.6≈41 nats——哪怕两者在 MLE 处拟合得一模一样。这就是「拟合一样好、证据却差很多」的算术来源。
【极难发现 / Premise Killer】真正的裂缝不在「贝叶斯 vs 复杂度」这条假二分线上,而在两边都藏起来的一个假设:先验不是中性的。选先验 = 选码本;说「MDL 客观、贝叶斯主观」是假二分——MDL 的「通用码」同样要选一个参考机/模型类。主观性没有消失,它从「先验」搬到了「码本选择」这个更隐蔽的位置。Kolmogorov 复杂度的不可计算性(依赖参考机)正是这件事的极端形式。
【认知科学回响】预测编码/自由能原理里,变分自由能是边缘似然的一个上界——大脑「最小化惊奇」在数学上就是「最小化码长」。而记忆的率失真 R(D) 是这件事的有损版本:你记不住全部,是因为最优码本本来就该丢信息。
【值得辩论】如果模型选择的本质是压缩,那么「可解释性」是不是只是「人类可读的码本」?一个更短但人类读不懂的模型,和一个稍长但可读的模型,谁的证据更高——这该由数据决定,还是由解码者的先验决定?






0 Comments