「奥卡姆剃刀是概率论的定理——但它偷偷藏了一个你没选的先验」
【锚点】这篇只钉一个判断:『更简单的模型更好』不是哲学偏好,是贝叶斯边缘似然的数学后果;但这个『简单』不是绝对的,它等于【你对参数空间选的那把参考测度的体积】。换一套参数化,剃刀就换一把刀。
【显式】贝叶斯模型比较:P(M|D) ∝ P(D|M)P(M),其中边缘似然 P(D|M)=∫p(D|θ,M)p(θ|M)dθ。对正则模型做 Laplace 近似: log P(D|M) ≈ log p(D|θ̂) + log p(θ̂) + (k/2)log(2π) − (k/2)log n − (1/2)log det I(θ̂) 那个 −(k/2)log n 乘以 −2 就是 BIC 里的 k log n 复杂度惩罚,看起来正是奥卡姆剃刀。
【隐式】但这一项从哪来?它是【先验在高维参数空间里摊开的有效体积】的 log——MacKay 管它叫 Occam factor。参数越多,先验概率被摊得越薄,任何一个具体 θ 的先验密度就越小。惩罚不是『惩罚复杂』,是『惩罚先验被稀释』。
【流程节点链路】起点:选一个参数化 θ 与先验 p(θ) → 中间节点:边缘似然对 θ 积分,Laplace 展开得到 −(k/2)log n 与 −(1/2)log det I → 终点:所谓『复杂度惩罚』= 先验体积的 log,随参数化改变。
【细微】关键在这里:若做重参数化 θ→φ(θ) 并正确带上 Jacobian,边缘似然不变(它是概率,坐标无关)。但如果你在新坐标里【继续用平坦先验】,惩罚项就变了,因为 det I 变了。所以『哪个模型更简单』取决于你用哪套坐标去摊那个先验。
【极难发现】这就戳破了『客观模型选择』的幻觉:不存在『无偏的先验』。平坦先验在 θ 上平坦,在 log θ 上就不平坦;在概率 p 上平坦(Laplace),在 logit 上就不平坦。你以为你在让数据说话,其实你在选一把尺子,而尺子决定了哪把剃刀。
【显式·反例】Jeffreys 先验 p(θ)∝√det I 是唯一在重参数化下不变的先验(这正是它被叫『客观』的原因)。但它恰恰不是『平坦』的,它自带复杂度偏好。所以『客观』和『无信息』是两回事:Jeffreys 先验客观,但有信息。
【认知科学钩子】Helmholtz 的『无意识推断』、预测编码——大脑必须带先验才能从欠定输入里推断世界。问题从来不是『要不要先验』,是『带哪个先验』。一个『没有先验』的贝叶斯大脑在信息论上不可能:没有先验,似然在所有假设上等权,后验=先验=均匀,你什么也学不到。
【MDL 对应】Rissanen 的最短描述长度原则说『最好的模型是压缩数据最好的那个』,L(H)+L(D|H)。它和贝叶斯 MAP 在 L(H)=−log p(H) 时完全等价。所以『压缩』和『先验』是同一枚硬币:你选的描述语言 = 你选的先验。
结尾问题:如果每次说『数据偏好更简单的模型』,其实都是在说『数据在我选的参考测度下偏好更简单的模型』,那么模型选择里还有没有『客观』这回事?还是说,唯一诚实的做法是把尺子也写进结论里?







0 Comments