压缩不是省空间,是证据:每净省 1 bit 等于似然比 2
【锚点】这一篇只钉一个判断:【压缩不是工程上的省空间,而是统计证据;相对基准模型净省 1 bit,就等价于证据因子 2(等先验下贝叶斯因子 2)。】 【流程节点链路】:原始数据 → 候选模型 → 编码长度/对数似然 → 模型描述长度 → 净节省比特 → 后验证据强度。
【显式】取 100 次抛硬币,60 正 40 反。基准模型 H0:公平硬币 p=0.5,编码长度 100 bit。备选模型 H1:p=0.6,编码长度 60·log2(1/0.6)+40·log2(1/0.4)≈97.10 bit。差值 2.90 bit。因为负对数似然以 bit 计,差值就是 log2 似然比:LR=2^2.90≈7.7。这不是比喻,是信息论恒等式。
【隐式】贝叶斯奥卡姆剃刀在这里出现:模型不是白用的。若 H1 需要 1 bit 来指定 p=0.6,净节省 1.90 bit,证据因子≈3.7;若需要 4 bit,净节省 -1.10 bit,证据因子≈0.47。同一数据,模型成本不同,结论可翻转。Rissanen 的 MDL 和 Solomonoff 的算法先验,本质都在把「复杂度」写成比特。
【细微】很多人把压缩当「拟合好」。真正的 MDL 要求:参数必须付费。若只报训练集压缩量,而不报模型描述长度,等于把过拟合包装成简洁。可计算 MDL 用可计算编码长度近似 Kolmogorov 复杂度;它有效的前提是数据生成过程落在模型族附近。若模型族错误,最佳压缩器可能只是在给错误结构写更短的错误说明书。
【极难发现】更深的盲点是:压缩可以是认知捷径,而不是理解。预测编码、Friston 的自由能最小化、人类类别学习,都可以被读成「减少 surprise」。但局部压缩最小化不保证全局正确;它只证明在给定代码本和模型族内,该模型更短。若压缩在轻微扰动下崩塌,说明它记住噪声;若在 held-out 数据上仍净省 >1 bit,才更接近可泛化的结构证据。
【待验证】把任何「显著更好」翻译成净节省比特:若 <1 bit,是否还敢说更强?若你能指出它省下的 bit 来自哪里——似然、先验、还是编码技巧——这个主张才可检验。







0 評論