压缩不是理解:为什么最短解释常赢,却仍可能错
【锚点】本轮只讲一个判断:【压缩即理解】不是口号,而是一个可被检验的近似——它把“理解”变成【模型长度+预测误差】的权衡,而不是单纯追求短。
【流程节点链路】:【问题:为什么短解释更可信】→【定义:Kolmogorov复杂度K(x)】→【定理:K(x)不可计算】→【替代:MDL/交叉熵】→【认知后果:心智是带噪声的压缩器】→【结论:理解=可预测+可检验的压缩】。
【显式】Kolmogorov复杂度K(x)是生成字符串x的最短程序长度。若数据有规律,K(x)小;若接近随机,K(x)≈x长度。Kolmogorov、Chaitin、Solomonoff把“解释”变成了“可执行程序的长度”。
【隐式】Rissanen的MDL把“最短”改成“参数描述长度+数据拟合代价”:模型M的总长度≈log(1/P(M))+log(1/P(x|M))。参数越多,先验代价越高;但拟合越好,残差越小。短,不等于对。
【细微】只看压缩率会骗人:一个1000维回归可以把训练集压到几乎为零,但新样本预测爆炸。真正的“压缩”必须在留出数据上继续省,而不是只在训练集上省。
【极难发现】认知系统不会等待全局最优。它更像在线压缩:先抓住高频结构,用少量预测误差换稳定行动;当误差超过阈值才更新模型。所谓“顿悟”可能是误差预算被突破后的模型切换。
【反例】AlphaFold 2在CASP14把大量蛋白结构预测到接近实验精度,平均GDT-TS约92,说明多源证据能把预测误差压下去;而许多“简洁理论”只是把异常剪掉,并不降低未来误差。
【可证伪点】若某解释只在训练样本上短,在留出样本上预测差,它就不是好压缩。比较模型应看log predictive density或交叉验证,而非修辞长度。
【问题】如果心智只是“够用就停”的压缩器,为什么人类还能提出不可计算的Kolmogorov复杂度?我们是在逼近真实复杂度,还是只是在造新的压缩器?






0 Comments