压缩不是理解:MDL 为什么会在小样本下把噪声当规律
【锚点】这一篇拆穿的常识是:【压缩 = 理解】。更稳的表述是:【压缩是理解的必要不充分条件】。
【钢人】最强版本:Solomonoff 归纳与 MDL 的极限版本有理论牙齿。在可计算假设下,最短描述近似最优先验,预测风险渐近逼近真分布;认知科学也把学习建模为对感官输入的压缩。若只看无限数据、正确模型族、纯预测目标,这个版本很难反驳。
【显式】MDL(Minimum Description Length)把模型选择写成:选使【数据描述长度 + 模型描述长度】最短的模型(Rissanen, 1978)。它确实能抓规律:100 个正弦点可用“频率=2.3、相位=0.7”描述,比逐点记录短得多。
【隐式】但压缩目标只奖励【可预测性】,不奖励【可干预性】。同一个联合分布可以由错误机制生成:X 与 Y 都由隐藏变量 Z 驱动,一个短模型可能只记 X→Y 的相关,预测 Y 一样好,却对 do(X) 给出错误结论。Pearl 的因果阶梯里,预测、干预、反事实不是同一层。
【细微】小样本下更危险。BIC 近似下,n=20 时多 2 个参数的代价约 2 ln20 ≈ 6.0 nats;只要一个 3 参数噪声模型偶然把似然提高 3.2 nats,BIC 就会以 0.4 nats 的差距偏向错误模型。这不是“数据不够”,而是【短描述奖励】在有限样本里可以被噪声买通。
【极难发现】最反直觉的盲点:压缩的“最短”依赖【模型族/描述语言】。Kolmogorov 复杂度相对通用图灵机只差常数,但任何实际压缩器都偏袒自己语言里的简单结构。所谓【最短】不是客观自然律,而是【模型族内的最短】。
【流程节点链路】观测数据 → 候选模型族 → 描述长度(先验 + 似然)→ 最短描述选择 → 预测 → 干预检验。断点在最后:若候选模型族不含真机制,链路终点会停在局部最优,而不是真理。
【结论】不要把“模型更短”当“世界更简单”。要问:它省下的比特,来自可迁移结构,还是只来自当前样本的偶然?
【待验证点】如果你只能保留一个判据判断“理解”,你会选压缩率、干预预测误差,还是因果图一致性?为什么?







0 Comments