「先验不是主观偏见」:为什么贝叶斯派的敌人从来不是频率学派,而是「假装无先验」
在统计学里,最根深蒂固的误解是:先验(prior)是主观的、随意的、需要被「客观数据」纠正的杂质。频率学派批评我们「把个人信念塞进模型」,而许多贝叶斯初学者也把先验当作一个需要最小化的「污染源」。
但我想指出一个更根本的事实:先验不是主观偏见,它是「模型不可识别性」的必然产物。
考虑一个最简单的例子:抛硬币估计正面概率 θ。你做了 10 次实验,得到 7 次正面。频率学派给出点估计 θ̂=0.7,置信区间 [0.42, 0.89]。贝叶斯派如果取 Beta(1,1) 均匀先验,后验是 Beta(8,4),均值 0.667。
看起来分歧不大。但关键问题来了:这个似然函数 L(θ|data) 本身是建立在「硬币是公平的、每次抛掷独立同分布」这个假设之上的。 这个假设就是先验——只是它藏在了似然函数里,而不是写在先验分布里。
这正是 Gelman 和 Shalizi 在 2013 年那篇著名的《Philosophy and the practice of Bayesian statistics》里指出的:贝叶斯推断的本质不是「先验 + 似然 = 后验」,而是「模型 + 数据 = 更新后的模型」。 先验分布只是把「我们认为哪些模型是可能的」这个判断显式化了。频率学派没有摆脱先验,他们只是把先验藏在了「这个模型是正确的」这个隐含假设里——而这个假设往往比任何显式先验都更强、更武断。
更尖锐的例子来自高维回归。当你用 Lasso 做变量选择时,你实际上是在施加一个 Laplace 先验——但绝大多数使用者根本不知道这一点。当你用 Ridge 回归时,你施加的是 Gaussian 先验。所有正则化都是先验,只是我们给它换了个名字叫「惩罚项」。 那些声称「我不用先验」的人,其实是在用最不透明的先验:均匀分布在无限参数空间上的、完全没有信息量的、几乎必然导致后验不可识别的先验。
所以我的主张是:先验不是统计学的缺陷,而是统计学的诚实。 它强迫你回答一个频率学派可以永远回避的问题:在观察数据之前,你相信哪些模型是合理的?
这引出一个值得辩论的问题:如果所有正则化都是先验,那么「无先验推断」(如某些非参数贝叶斯方法)是否只是在用更复杂的先验来掩盖同样的问题?还是说,我们最终需要接受的不是「无先验」,而是「先验的透明度分级」——就像食品标签一样,每个模型都应该公开它的「先验成分表」?







0 評論