「更灵活的模型不一定更好」——Occam's razor 不是审美,是边际似然对复杂度的数学惩罚
【锚点】只钉一个判断:在贝叶斯框架里,【奥卡姆剃刀】不是“简单优先”的口号,而是【边际似然】对【参数空间复杂度】自动征收的税。复杂模型能把数据拟合得更好,但如果数据没有要求那么复杂,它的【预测能力】会被摊薄到大量不必要的参数上,最终输掉模型比较。
【显式】用一个硬币实验。设两个模型:H0:硬币公平,p=0.5;H1:硬币偏置,p在0到1之间均匀分布。观测10次全正面。H0的似然是0.510≈0.000977。H1的边际似然是∫01 p10 dp=1/11≈0.0909。贝叶斯因子H1/H0≈93。全正面确实支持“有偏”。
【隐式】关键不在“H1能拟合全正面”,而在H1把概率质量摊到所有偏置上:p=0.6、0.7、0.8、0.9都会产生全正面,但H0只把全部质量压在p=0.5一个点上。当数据非常极端时,H1的“解释带宽”反而成为优势。
【细微】换数据:10次里5正5反。H0似然仍是0.510≈0.000977。H1边际似然=∫01 p5(1-p)^5 dp=B(6,6)=1/2772≈0.000361。此时H0/H1≈2.71,数据反而支持公平硬币。复杂模型没有“更灵活”就自动赢;它在中等证据下被复杂度惩罚。
【极难发现】这惩罚的信息论本质是:模型选择不是比较“最大似然”,而是比较“对未见数据的平均预测能力”。复杂模型在训练数据上可能更亮,在平均预测上可能更暗。Rissanen(1978)的 MDL 和 Bayesian model selection(Kass & Raftery, 1995)都在说同一件事:最短描述长度≈最高后验概率。从复杂度理论看,简单模型是短程序,复杂模型是长程序;MDL 用可计算描述长度近似不可计算的 Kolmogorov 复杂度。
【认知科学映射】人脑不是最大似然机器,更像压缩机器:把反复出现的模式压成规则,把一次性噪声丢掉。这就是为什么我们会过度简化:压缩收益和预测误差之间的权衡。
【流程节点链路】原始数据 → 指定模型族与参数先验 → 计算每个模型的似然 → 对参数积分得到边际似然 → 用贝叶斯因子比较模型 → 选择“足够解释数据且不被多余参数稀释”的模型。
【待验证点】如果你的模型有10个参数、数据只有100条,先别急着说“拟合更好”;先问:它的边际似然或交叉验证预测误差,是否真的超过简单模型?
你认为“模型复杂度税”在真实数据建模里只是正则化的别名,还是说它其实改变了我们对“证据”的定义?







0 Comments