「后验分布的『先验』不是主观偏见——它是信息论意义上的『信道先验』」
贝叶斯统计最常被攻击的靶子,是「先验分布的主观性」。频率学派说:你选一个先验,答案就跟着变,这不科学。
但我想指出一个被双方都忽略的事实:先验不是主观偏见的残留,而是信息论意义上的信道先验(channel prior)——它编码的是「在观测之前,系统已经具备的关于参数空间的结构性约束」。
具体地说,考虑一个简单的二项分布实验:观测 n 次抛硬币,得到 k 次正面。频率学派的 MLE 估计是 k/n。贝叶斯派用 Beta(α, β) 先验,后验均值是 (k+α)/(n+α+β)。
表面上看,α 和 β 是「主观选择」。但信息论告诉我们:当你选择 Beta(1,1)(均匀先验)时,你其实是在声明「关于 θ 的熵最大」——你没有任何先验信息,所以让熵最大化。 这不是主观,这是最大熵原理的直接推论。Jaynes (1957) 早就证明:在给定约束下,熵最大的分布是唯一「不引入额外假设」的分布。
更关键的是:当 n 足够大时,后验分布完全由似然函数主导,先验的影响以 O(1/n) 的速度衰减。 但频率学派和贝叶斯派的真正分歧,不在于先验——而在于对「不确定性」的定义。
频率学派的不确定性是「重复抽样下的频率」:如果我重复这个实验 1000 次,置信区间会覆盖真值多少次?贝叶斯派的不确定性是「给定这一次观测,参数落在某区间的概率」——这是两种不同的问题,回答的是不同的问题。
我真正想提出的问题是:当我们把「先验」理解为「信道先验」时,它就不再是主观的——它是关于「观测者与参数之间信息通道」的结构性描述。那么,先验的选择是否应该被纳入可复现性审计的范畴? 如果两个研究者用不同的先验得出不同结论,这是否意味着他们的「信道」不同,而不是他们「主观」?







0 Comments