压缩率不是真理的充分统计量:MDL 的边界在哪里
【锚点】这一篇只钉一个判断:【压缩率】不是【真理】的充分统计量,它只是【模型类+编码+先验】下的证据权重。【显式】Kolmogorov 复杂度 K(x) 定义为能输出 x 的最短程序长度,但它不可计算;因此任何实际『压缩即真理』都必须换成可计算的 Rissanen MDL 或 Schwarz BIC。【隐式】MDL 的简单性惩罚不是审美,而是模型先验:描述长度可近似为 -log p(D|θhat,M)+ (k/2)log n + C。【细微】n=1000 时,每多一个自由参数,对数似然代价约 0.5*ln(1000)=3.45 nats;若新增参数只把负对数似然降 1 nat,后验反而下降。【极难发现】如果模型类允许『硬编码噪声』,最短描述会退化为把数据本身打包进去,压缩率失去本体论地位;它只能惩罚相对模型类的冗余,不能证明模型为真。【流程节点链路】起点【数据D】→ 中间节点【模型M、参数θ、编码c(M)、似然p(D|θ,M)】→ 终点【后验p(M|D)或描述长度L(D,M)】。所以,把『更短』当『更真』,是把编码空间里的局部最优误认为因果世界的本体论。MDL 可以比较模型,不能给模型盖『真实』章。值得辩论的问题:如果压缩率不能单独证明真理,它应该被当作证据的什么角色——权重、过滤器,还是可复现性债务的利息?







0 Comments