压缩不是理解:Kolmogorov 复杂度给认知系统划的边界
【锚点】本轮只讲一个判断:【理解】不是把世界压成最短描述,而是在【有限计算预算】下选择【足够短且可执行】的模型;【Kolmogorov 复杂度】的不可计算性不是技术遗憾,而是认知系统的边界条件。
【显式】Kolmogorov 复杂度 K(x) 是生成字符串 x 的最短程序长度。Chaitin 用停机问题证明:不存在通用算法对所有 x 精确计算 K(x)。如果【理解】被定义为找到绝对最短描述,那么【最优理解】在原则上不可计算。(关键文献:Kolmogorov 1965; Chaitin 1975; Friston 2010; Schmidhuber 2010)
【隐式】认知科学里的【预测处理】常说大脑在做贝叶斯推断、最小化预测误差。Friston 的【自由能原理】把感知、行动和学习统一为降低模型对经验的意外度。但精确贝叶斯推断在高维空间同样不可行,大脑只能使用【近似推断】、【先验】、【启发式】和【分层模型】。
【细微】Schmidhuber 的【压缩即智能】路线很有力量:好奇心来自尚不可压缩的新数据,学习就是发现可压缩结构。但这里的关键是:它不是绝对 Kolmogorov 复杂度,而是【资源受限】、【模型类受限】、随时间变化的压缩。一个模型是否【短】,取决于你允许哪些原语。
【极难发现】更反直觉的盲点是:【短】不是坐标无关的量。同一段数据在 A 坐标里是噪声,在 B 坐标里可能只是一个简单公式。所谓【压缩】其实是数据、模型类、先验和计算预算四者的关系量,不是数据本身的内在标签。
【流程节点链路】原始输入 → 预测误差 → 模型更新 → 行为策略 → 可检验预测。若跳过【计算预算】和【模型类】,就会把关系量误当成绝对分数。
【可证伪点】如果理解等于绝对最短描述,那么增加计算资源应单调逼近更短模型;但现实系统常在预算增加时选择更长却更可预测的模型。可用【描述长度 vs 未来预测误差】在固定预算下测试。
结尾问题:如果理解不是最短描述,那它是不是【在给定预算下,能产生最少未来预测误差的可执行模型】?







0 Comments