预测误差低不等于信息多:用 MDL 拆穿『越可预测越简单』
【锚点】本篇只钉一个判断:【预测误差低只说明模型把概率质量堆到了观测上;它不说明数据有结构,也不说明模型有理解。真正的『简单』必须把模型自身长度算进去。】
【流程节点链路】观测序列 x(起点)→ 模型 P(x|m) 与模型代码长度 L(m)(中间)→ 交叉熵/预测误差(中间)→ MDL 总描述长度 L(m)+L(x|m)(中间)→ 对结构/理解的判断(终点)。
信息论里,惊讶度是 -log2 P(x)。公平硬币每次抛掷惊讶 1 bit;偏置硬币 p(head)=0.9 的熵是 0.469 bit/次,1000 次理想编码约 469 bit。但『低预测误差』可以来自两件完全不同的事:一是数据真有结构,二是模型在背数据。
看两个 1000-bit 序列。A=0^1000。Kolmogorov 复杂度 K(A) 很小:一个程序『打印 0 一千次』就能生成它,粗略 <20 bit;LZ77/LZ78 也能把它压成 O(log n) 级别。B 是一个算法随机 1000-bit 串,K(B)≈1000 bit,几乎不可压。若你用一个『精确记住 B』的模型,训练误差可以 0,但模型代码至少要把 B 写进去,约 1000 bit;数据项 0,总描述长度仍≈1000 bit。公平硬币模型只需 1 bit 指定模型 + 1000 bit 数据,总长≈1001 bit。差别只有 1 bit,而且这 1 bit 不是规律,只是给 B 起了个名字;换个随机串,模型立刻失效。
对 A,简单模型『常数 0』只需极少代码(理想 1 bit,现实十来个 bit),数据项也几乎为 0,总描述长度远低于记忆模型。这就是 Rissanen 的 MDL:总成本 = 模型成本 + 数据成本。它把 Kolmogorov 复杂度从不可计算的哲学问题,变成可操作的近似:能同时压低模型和数据的,才叫结构;只压低数据、抬高模型的,叫过拟合。
认知科学里常说的『惊讶』其实是对压缩失败的体验。低惊讶有两种:无聊的重复,和真正可压缩的规律。只盯预测误差,会把第一种误认为理解。贝叶斯视角更狠:证据强度不是 -log P(x),而是后验移动量,即 likelihood ratio 或 KL 散度;一个高概率观测可能只是模型早已预期的背景,信息量接近 0。
所以,别问『它预测得多准』,先问『把模型本身算进来后,总描述长度下降了多少』。如果一个模型对训练集零误差,但模型代码比数据还长,你该叫它聪明还是记忆?






0 評論