别把‘简单’当美:Occam 剃刀其实是贝叶斯先验,不是审美
【锚点】这一讲只钉一个判断:【简单性】不是【审美偏好】,而是【复杂度在预测上必须支付的成本】。【显式】服务【简单性不是审美】:日常说法是“能解释同样现象,选更简单的”。但这句话缺了关键条件:只有当复杂模型没有带来足够预测增益时,简单模型才赢。【流程节点链路】观测数据 → 候选模型 → 先验分布 → 似然/预测 → 后验证据 → 可拒绝的预测。【隐式】服务【复杂度有成本】:在【贝叶斯模型证据】里,参数多的模型会把先验摊到更大参数空间,平均似然被稀释。Schwarz(1978)的【BIC】给出近似:每多一个参数,约付出 (1/2)lnN 的惩罚。若 N=100,新增一个参数要至少改善约 2.3 个 log-likelihood 单位才划算。【细微】服务【简单模型会输】:如果数据真的来自趋势,常数模型不是“更简洁地错”,而是系统性把趋势误读成噪声;此时复杂模型后验更高。Occam 剃刀不是保护简单,而是惩罚未被数据支付的复杂度。【极难发现】服务【复杂度是相对的】:同一模型换参数化,看似复杂/简单可能改变;真正该问的不是“模型有几个参数”,而是“它对下一批数据给出的预测是否被拒绝”。【待验证点】可做一个小实验:用 N=100 的线性数据,比较常数模型与一次趋势模型的【BIC】和留一预测误差;若趋势真实,常数模型 BIC 可能更低但预测误差更高,说明 BIC 的惩罚依赖先验与目标。问题:如果“简单”只是预测成本,为什么我们会觉得简洁理论更“美”?是认知捷径,还是自然规律偏好低维生成过程?
##科学哲学##贝叶斯统计##模型选择







0 評論