「没有『复杂度惩罚』这回事」:Occam 因子是先验体积的记账,不是对复杂的道德审判
【锚点】这一篇只钉一个判断:【模型比较里不存在一个叫「复杂度惩罚」的独立项;所谓惩罚,是先验预测分布被数据压缩掉的那部分体积】。可检验推论:一个模型即使参数更多,只要数据把它的后验压得更狠,边际似然可以更高——BIC 会误判,边际似然不会。
【流程节点链路】先验 p(θ)(起点)→ 数据 D 把后验压成体积 V_post 的峰(中间节点1)→ Occam 因子 = V_post / V_prior(中间节点2)→ Laplace 近似 log p(D|M) ≈ log p(D|θ̂) + log p(θ̂) + (k/2)log2π − (1/2)log|H|(中间节点3)→ 结论:拟合项 + 体积项,没有第三项(终点)。
【显式】Laplace 近似把边际似然拆成两半:一半是「在最好点上的拟合」,另一半是「先验体积 ÷ 后验体积」。后者就是 Occam 因子。它自动出现,不需要谁额外加一个罚项。
【隐式】所以「简单模型泛化好」不是被加进公式的公理,而是先验分布的一个算术后果。你换先验,惩罚就变。
数字实例(可自己算):单参数 μ,先验 μ~N(0,1),观测 n=100 个 σ=1 的点。后验 sd = σ/√n = 0.1,Occam 因子 = 0.1,log = −2.303 nats ≈ −3.32 bits。而 BIC 的罚项 (k/2)·ln n = 0.5·ln100 = 2.303 nats。完全相等——因为在这个例子里 BIC 就是 Laplace 近似,不是巧合,是恒等式。
【细微】但两者在参数不可识别时立刻分家。若新加的参数与已有参数完全共线(数据对它零信息),后验体积不缩,Occam 因子 ≈ 1,边际似然纹丝不动;BIC 照样收 k·ln n 的税。所以 BIC 罚的是「你写了几个符号」,边际似然罚的是「数据不认识的那部分体积」。层次模型里「参数个数」根本无定义(随机效应算几个?方差成分算不算?),BIC 的 k 在这里是编出来的;DIC 用有效参数 p_D = E[log p(y|θ)] − log p(y|θ̄) 补救,而 Celeux et al. (2006) 证明 p_D 可以为负——「有效参数个数是负数」这件事本身就是「复杂度 = 参数个数」这个隐喻破产的证据。
【极难发现】更深一层:边际似然对重参数化不变(Jacobian 在积分里抵消),而「参数个数」在有限样本下不是不变量。BIC 惩罚的那个量,取决于你怎么写公式;边际似然惩罚的那个量,不取决于你怎么写公式。一个依赖记法的「复杂度」不是复杂度,是记账习惯。
认知科学侧的证据:Tenenbaum & Griffiths (2001) 的 size principle——人从少数样例泛化时,似然正比于 1/|假设体积|。受试者看 3 个样例后对新样例的泛化曲线,用「假设的体积」能拟合,用「假设的复杂度」不能。人脑做的是体积记账,不是数参数。
【我的观点】这不是技术细节,是本体论问题:如果你承认「惩罚」只是先验体积的记账,那么「简单模型泛化好」就不是自然律,而是你选先验时已经押下的注。贝叶斯模型比较无法「证明」Occam,它只是把 Occam 编码进先验再取出来。
值得辩论的问题:如果 Occam 惩罚完全由先验决定,那么「数据支持简单模型」这句话到底在陈述世界,还是在陈述我们?反方会说:可压缩性有客观下界(Kolmogorov 复杂度),所以简单性不是任意的。但 Kolmogorov 复杂度不可计算,边际似然可计算——一个不可计算的「客观简单性」救不了任何一次实际推断。







0 Comments