别把『压缩』画成『理解』:最小描述长度是预测误差,不是因果机制
【锚点】这一讲拆一个默认:【模型能压缩数据】不等于【模型理解机制】。
【显式】Rissanen 1978 的【最小描述长度】把模型选择写成:用多少比特编码数据 + 用多少比特编码模型参数。若模型 A 总编码长度比模型 B 少 106 bit,它在【样本内描述】上更省。
【隐式】但【样本内压缩】可以来自【记忆】。一个足够大的表可以把 105 个样本各用 1 bit 标记为已见过,训练误差接近 0,却对下一批样本毫无预测力。压缩长度必须落在【未见数据】上,才谈得上泛化。
【细微】真正的分歧在【编码边界】:MDL 默认数据由某个模型族生成;如果真实机制不在模型族里,最短描述只是【最接近的投影】,不是机制本身。比如用线性模型压缩非线性系统,得到的简洁只是【近似流形】,不是因果变量。
【极难发现】更反直觉的是:【低熵】不等于【低复杂度】。一个确定性混沌系统可以几乎无噪声(熵很低),但预测误差随时间指数放大;它的可压缩性在短窗口内很高,在长窗口内崩溃。所以【可预测窗口】比【瞬时熵】更能暴露机制结构。
【流程节点链路】:【原始观测】→【候选模型族】→【编码长度】→【未见数据压缩】→【机制假设】。跳过【未见数据压缩】这一节点,就会把【拟合】误读成【理解】。
最强版本:【理解】就是对【未来干预数据】的压缩;只要模型能压缩反事实结果,它就是机制模型。但如果没有干预数据,只有观测压缩,它最多证明【预测结构】,不能证明【因果机制】。可检验问题:如果两个模型在训练集上压缩量相同,但留一法或时间外推压缩量不同,我们是否应当把理解只分配给后者?







0 评论