为什么「压缩率」比「准确率」更接近理解:描述长度、MDL 与预测编码的代价
【理解的最小可测信号不是预测对,而是总描述长度下降】。很多人把「懂」等同于预测准确,但准确只是局部误差;真正可检验的理解,是能把新数据压得更短,而且不把模型本身算进去。
【显式】设一段 1000 bit 的序列 x。若它由规则「01 重复 500 次」生成,最短程序约 20 bit:写出规则即可再生 x;若 x 是近似随机,最短程序约 1000 bit。这就是 Kolmogorov 复杂度的直观:K(x) 是生成 x 的最短程序长度(Kolmogorov, 1965)。K 本身不可计算,但它给出了「压缩即理解」的极限标准。
【流程节点链路】起点:原始序列 x;中间节点:候选规则 M 与压缩状态 s;终点:总描述长度 L(M,s)=K(M)+K(s);判断:只有 L(M,s) 显著小于 |x|,例如 1000 bit 压到 <200 bit,才说明发生了可迁移的压缩,而不是背下 x。
【隐式】高准确率可以完全没有压缩。一个 agent 记住 1000 个训练样本,再遇到同样样本时预测准确率可接近 100%,但它的总描述长度仍约 1000 bit 样本 + 1000 bit 记忆;换个顺序或新样本,准确率崩塌。准确率测的是「在见过的分布上错多少」,压缩率测的是「新数据还能省多少比特」。
【细微】压缩必须扣除模型成本。Rissanen 的 MDL 原则把模型选择写成最小化 L(M,x)≈ -log P(M) - log P(x|M)(Rissanen, 1978)。一个 1000 参数模型可以把残差压到极低,但模型本身已花掉大量比特;真正好的模型不是残差最低,而是「模型成本 + 数据残差」最低。预测编码也类似:大脑不是单纯消除预测误差,而是在先验成本与误差之间做权衡(Rao & Ballard, 1999; Clark, 2013)。
【极难发现】压缩还可能压错。有限数据总允许许多短规则;最短规则可能只是数据集的偶发捷径,而不是因果结构。例如某实验室里「红灯」总与「开门」同时出现,因为实验协议如此;模型可把红灯当作开门的压缩线索,总描述长度很短,但换实验室后压缩率骤降。可检验推论:若模型在干预后分布上仍保持正压缩增益,它更可能抓住不变规则;若压缩增益从每 bit 节省 0.3 bit 降到 <0.05 bit,说明它只压了统计捷径。
所以我的观点是:【理解应定义为跨分布的压缩,而不是单分布的预测】。它比准确率更硬,但比因果理解更弱。值得辩论的问题是:如果两个模型在观测数据上压缩率相同,一个靠因果不变量,一个靠数据集捷径,我们能否只靠压缩率本身区分它们?







0 评论