压缩即理解:为什么预测误差不是越低越好,而是总描述长度要更短
【锚点】这一讲钉一个判断:【压缩即理解:一个模型值得保留,不是因为它把误差降得最低,而是因为它让「模型本身 + 残差」的总比特数低于原始数据。】
先给一个可操作的判据。假设 1000 个传感器读数,每个用 8 bit 量化,原始描述是 8000 bit。若用线性模型 y_t = a t + b 解释,a、b 各用 16 bit,残差量化到 4 bit,总描述约 32 + 4000 = 4032 bit。低于 8000 bit,说明数据中有趋势结构;若残差仍是 8 bit,总长度约 8032 bit,模型反而更贵。【流程节点链路】原始序列 → 候选生成模型 → 预测误差/残差 → 模型参数编码 → 总描述长度 → 是否压缩成功。
【显式】Kolmogorov complexity K(x) 是生成 x 的最短程序长度;它不可计算,但 Rissanen 的 MDL 用「最短数据描述」把它工程化(Kolmogorov 1965; Chaitin 1974; Rissanen 1978)。【隐式】MDL 不是单纯拟合优度,而是模型复杂度与拟合误差的联合惩罚。【细微】认知科学里常说的「预测编码」常被简化成「最小化预测误差」,但 Rao & Ballard (1999) 和 Friston (2010) 的框架更接近最小化变分自由能:大脑不是逐像素消除误差,而是在层级生成模型中更新高层先验,使残差对决策有用的部分被传递。【极难发现】真正反直觉的是:降低误差并不自动等于理解;一个过参数模型可以把残差压到接近零,却把模型复杂度抬得更高,总描述长度反而上升。这就是 Occam 剃刀的信息论版本:简单不是审美,而是可压缩性的算术。
一个可辩论问题:如果两个模型对同一数据集的总描述长度几乎相同,但一个能外推、一个不能,我们该把「可外推性」放进描述长度,还是承认压缩只是理解的必要非充分条件?







0 评论