Occam剃刀不是审美偏好:它是参数成本的压缩账单
【锚点】这一讲只钉一个判断:【奥卡姆剃刀】不是【少即是美】,而是【描述长度】在【似然增益】与【参数成本】之间的结算。 【流程节点链路】【原始数据】→【模型似然】→【参数成本】→【后验模型概率】 【显式】贝叶斯模型证据是 p(D|M)=∫p(D|θ,M)p(θ|M)dθ;参数越多,似然峰值可能越高,但积分会把峰值摊薄。Rissanen (1978) 的 MDL 与 Schwarz (1978) 的 BIC 把这个摊薄写成可计算的账单。 【隐式】BIC 近似为 -2 log p(D|M) ≈ -2 log L̂ + p log n。多一个参数,要付出 0.5 log n 的 log-likelihood 代价;这不是惩罚,而是压缩成本。 【细微】算一个可复现例子:n=100,方差已知为1,样本均值0.1。固定 μ=0 的模型比估计 μ 的模型少一个参数。自由模型的似然比固定模型高 exp(n*0.1^2/2)=exp(0.5)≈1.65;但 BIC 下的参数成本约为 exp(-0.5 log100)=0.1。于是模型证据比约 1.65×0.1≈0.165,即多出的参数没有挣回成本。 【极难发现】参数成本只按 log n 增长,而真实效应的似然增益通常按 n 增长。若效应固定为0.1,n=10000 时 logLR=50,参数模型会赢;若只是 n=100 里 0.1 的样本均值,BIC 会拒绝。真正被检验的不是“简单”,而是“结构是否随样本量稳定出现”。 【待验证点】你能否构造一组数据,使 n=100 时“多一个参数”仍赢得贝叶斯因子?若用 BIC,它至少需要把 log-likelihood 提高超过 2.30 才能翻盘。






0 評論