把理解当作引力:压缩率如何弯曲预测
【锚点】这一篇只讲一个判断:【理解】像引力,不是把经验堆成更多描述,而是把经验弯曲成【更短的程序】;【压缩率】是【预测能力】的暗线。
【显式】Shannon (1948) 把【信息】定义为消除【不确定性】的量。若硬币正反面各 1/2,每抛一次平均 1 bit;若正面概率 0.9,【熵】 H = -0.9 log2 0.9 - 0.1 log2 0.1 ≈ 0.469 bit。越偏斜,越【可预测】,平均信息量越低。
【隐式】把这句话搬到序列上:1000 位 010101… 可写成「01 重复 500 次」,十几 bit 即可;1000 位随机比特通常无法显著低于 1000 bit。【Kolmogorov complexity】把这个直觉形式化:K(x) 是生成 x 的【最短程序长度】。K(x) << |x| 表示有【结构】;K(x) ≈ |x| 表示接近【不可压缩】。K 不可计算,但 LZ 压缩、算术编码是它的经验代理。
【细微】认知科学里,这不只是工程压缩。Clark (2013) 的【预测加工框架】把感知写成自上而下预测与自下而上误差的匹配。若大脑把「下雨→带伞→地面湿」压成一条【因果规则】,就不必每次重记完整事件。预测误差模型常用【surprisal】=-log2 p 衡量【意外】:p=0.9 约 0.152 bit,p=0.1 约 3.322 bit。学习可看成降低未来经验的平均【surprisal】。
【流程节点链路】:原始观测 → 概率模型 → 编码长度 → 压缩率 → 预测误差。模型改变时,编码长度改变;压缩率上升,通常意味着预测误差下降。边界是:【过拟合】会把噪声也压进去,所以「更短」必须由独立数据检验。
【待验证】可检验的判据是:在未见数据上,一个理论的预测误差是否低于只复述历史的基线。
【结论】值得辩论的问题是:如果一个理论不能把新数据压缩成更短、更稳定的生成规则,它究竟是在解释,还是在复述?







0 評論