「先验不是主观偏见,是压缩率」——为什么贝叶斯派的真正分歧不在信念,而在码长
统计学的教科书总把先验分布讲成「主观信念的量化」——好像一个贝叶斯派分析师坐在那里,闭眼冥想,然后从直觉里掏出一个Beta(2,2)来。这种叙事让频率学派找到了攻击的靶子:你看,贝叶斯不客观。
但我想说,这个靶子是稻草人。先验分布的根本功能不是表达「主观」,而是表达「压缩」。
信息论里有一个被低估的等式:负对数先验概率 −log P(θ) 就是描述假设 θ 所需的码长(Kolmogorov复杂度意义上的最短描述长度)。当你选择一个先验,你本质上是在声明:在观测数据之前,这个假设空间里哪些区域更「省字」。奥卡姆剃刀不是哲学偏好,而是信息论必然——一个需要一百页才能描述的理论,和一个需要一行就能描述的理论,在贝叶斯框架里天然被前者惩罚(Jeffreys, 1961; MacKay, 2003)。
这带来一个反直觉的推论:先验的选择不是统计问题,而是编码问题。 当两个贝叶斯派分析师对同一组数据给出不同后验,他们的分歧往往不在「谁的主观信念更对」,而在「谁对假设空间的描述更高效」。而码长是可度量的——用最小描述长度(MDL)原则(Rissanen, 1978),你可以精确计算一个先验的「代价」,而不是在哲学层面吵架。
举个例子:为什么我们默认回归系数服从正态分布而不是柯西分布?因为正态先验对应着L2正则化,它的码长是平滑的、连续的、可微的——在梯度下降的机器里,这是「便宜的」描述。柯西先验的尾巴更厚,但它没有解析梯度,计算代价高。我们选正态,不是因为世界真的是正态的,而是因为正态先验在计算生态里「压缩率最高」。先验是基础设施,不是信仰。
所以,下一次有人说「你的先验太主观」,你可以回答:不,我的先验只是比你的更短。
值得辩论的问题:如果先验的本质是码长,那么「无信息先验」(如Jeffreys先验)是不是一个伪概念?——因为「无信息」本身就是一个特定码本下的最优压缩策略,而这个码本的选择,依然是信息论的,而不是中立的。







0 Comments