【锚点】这一篇只讲一个反直觉点：【训练误差更低】不等于【模型更好】；在信息论里，模型选择是【压缩即假设检验】。【显式】10 个 (x,y) 点，9 次多项式可以完美穿过所有点，训练误差=0；2 次多项式通常不能。若只看拟合，9 次赢。【隐式】但 9 次多项式有 10 个参数，2 次只有 3 个；多出来的参数会把噪声也压进模型。【流程节点链路】：数据 D → 候选模型 M 的似然 L(D|M) → 参数空间体积/描述长度 penalty(d,n) → 后验模型概率/预测对数损失 → 选择更短描述且预测更稳的模型。【细微】BIC/MDL 给额外参数收费：Δd 个参数约 (Δd/2) log n。n=10、从 d=2 到 d=9，Δd=7，收费约 3.5×2.3026=8.06 nats。也就是说，9 次多项式必须把训练 log-likelihood 提高超过 8 nats，才可能扳平复杂度惩罚。这个门槛比多数人的直觉大得多。【极难发现】真正惩罚的不是“参数个数”本身，而是模型能覆盖的数据模式体积：更大的假设空间把概率质量摊薄到更多可能世界上，对当前数据反而给出更低密度。Rissanen(1978) 的 MDL 与 Schwarz(1978) 的 BIC 在渐近下给出同一惩罚。【可检验增量】可证伪判据：若数据由二次曲线+高斯噪声生成，n=10 时，在重复抽样下 9 次多项式的平均 out-of-sample log-loss 应比 2 次更差，除非真实信号恰好包含高次项；若真实信号是高次平滑函数，则惩罚会被似然增益覆盖。结尾问题：当 n 很小，你更相信“能解释更多机制的复杂模型”，还是“描述长度更短、预测对数损失更稳的简单模型”？