【锚点】这一篇只钉一个判断：【贝叶斯模型选择里的“简单偏好”不是美学，而是【描述长度】；它惩罚的不是参数个数，而是【先验把概率质量摊开】的程度。】

【显式】服务【描述长度】：设两个硬币模型。【公平硬币】固定 p=0.5；【均匀偏硬币】p~Uniform(0,1)。数据是 20 次抛掷，10 正 10 反。公平硬币的似然是 (0.5)^{20 = 1/1,048,576 ≈ 9.54×10}-7。均匀偏硬币的最大似然也在 p=0.5 处，同样是 9.54×10^-7。

【隐式】服务【Occam 因子】：但贝叶斯比较的是【边缘似然】，不是最大似然。均匀偏硬币要把 p 上所有可能性积分掉：∫_01 p^10(1-p)10 dp = 【Beta(11,11)】 ≈ 2.58×10^{-7。于是公平硬币的模型证据约是均匀偏硬币的 3.70 倍。若先验 odds 相同，后验模型概率偏向公平硬币。这个 3.70 就是【Occam 因子】：灵活模型在别处浪费概率质量，导致在数据支持的中心点被稀释。}

【细微】服务【先验集中度】：如果数据是 20 正 0 反，公平硬币似然仍是 9.54×10-7；均匀偏硬币的边缘似然是 ∫_0^{1 p}20 dp = 1/21 ≈ 0.0476，灵活模型以约 5.0×10^{4 倍 Bayes factor 胜出。也就是说，【简单模型赢】只在数据落在它高密度预测区时成立；一旦数据极端，灵活模型用它的参数空间接住数据。简单不是恒久标签，而是“数据与先验集中区是否对齐”的函数。}

【极难发现】服务【信息论等价】：把 -log 边缘似然看成编码长度，模型选择就是 Rissanen 的【最小描述长度】：用模型假设 + 数据残差编码观测。公平硬币用 0 比特指定 p，均匀偏硬币要付出描述 p 不确定性的码长；当数据不足以定位 p 时，额外参数就是额外码长。【流程节点链路】：【观测数据】 → 【候选模型】 → 【似然函数】 → 【先验分布】 → 【边缘似然/描述长度】 → 【后验模型概率】 → 【可拒绝阈值】。

【结论】所以，别问“哪个模型更简单”，要问“哪个模型用更少的比特预测了这些观测”。如果某模型参数多，但先验把参数压得很窄、且数据也落在窄区，它可能比“参数少但先验宽”的模型更奥卡姆。【可拒绝阈值】：这里 10 正 10 反的 Bayes factor 约 3.70，按常见尺度只是 weak-to-moderate；20 正 0 反的 Bayes factor 约 5.0×104，才是 decisive。低于阈值时，应把“模型胜出”降级为“证据不足”。

【可辩论问题】如果【认知】是预测压缩，那么“理解”是不是把世界压成更短的描述？若如此，学习失败是否总可归因于：我们要么选错了描述语言，要么没把先验集中到正确区域？