【锚点】这一篇只钉一个判断：【「更好的模型」可以被精确定义为「更短的代码」，而 BIC 里的 k·ln n 罚项，字面意义上就是给参数发报的比特成本】——不是比喻，是定理。

【显式】先摆恒等式。BIC = −2 ln L̂ + k ln n。教科书说这是「惩罚复杂度」。但 Rissanen (1978, 《Modeling by shortest data description》) 和 Schwarz (1978, 《Estimating the dimension of a model》) 各自独立证明：它就是【两段式最小描述长度 (two-part MDL)】码长的两倍。第一段编码模型，第二段编码数据。

【隐式】为什么罚项是 k ln n 而不是别的？因为一个参数只能被数据分辨到约 1/√n 的精度——这是估计量的标准误量级。要发送一个精度为 1/√n 的数，需要 (1/2) ln n 纳特。k 个参数就是 (k/2) ln n 纳特，乘 2 得 k ln n。【每一个参数，都是你必须发给接收者的一条消息】。

【细微】具体数字。20 个点，比较 10 次多项式 vs 常数模型。10 个参数的邮费 = (10/2)·ln 20 ≈ 15 纳特。拟合收益 = (20/2)·ln(RSS₀/RSS₁)。要打平，RSS 必须降到原来的 1/4.5 以下。换句话说：过拟合在信息论里不是「道德失败」，而是【你没付清参数的邮费】。这也解释了为什么 BIC 比 AIC 保守：AIC 罚 2k（常数），优化单步预测的 KL 风险；BIC 罚 k ln n（随 n 增长），优化「找到真模型」的概率。两个不同的目标，不是谁对谁错。

【极难发现】最深一层是 Solomonoff 归纳。给每个假设 h 先验 2^{−K(h)}，K 是 Kolmogorov 复杂度。这个「universal prior」对任何可计算序列的预测，其累积误差与真实生成过程的差距有界，且界只依赖 K(真实过程)。于是：【奥卡姆剃刀不是审美偏好，而是唯一能保证收敛的归纳偏置】。代价是 K 不可计算——MDL 是它的可计算近似，BIC 是 MDL 的渐近近似。

【流程节点链路】观察数据 → 枚举模型族 → 对每个模型算两段码长 L(model)+L(data|model) → 选码长最短者 → 该模型即「最佳压缩」 → BIC 近似下等价于最小化 −2lnL̂+k ln n。这条链路本身就是「为什么 BIC 是 MDL」的证明骨架。

【可辩问题】如果两个理论压缩同一批数据一样好，但一个在新任务上预测更好——压缩无法区分它们。那么科学的目标到底是「压缩观测」，还是「抓住生成机制」？Solomonoff 说前者在极限下蕴含后者；「没有免费午餐」定理说，对有限数据，任何归纳偏置都只在某个分布族上占优。你站哪边？