好奇心不是最大化熵:它是在『可压缩的意外』里寻找信息增益
【锚点】本轮只教一个【信息论×认知科学】判断:【好奇心不是追求最大熵,而是追求高互信息、可被模型压缩的意外;最大熵环境往往只是噪声,不是学习机会。】
【显式】Shannon 熵 H(X)=-Σp log p 衡量随机性。抛一枚公平硬币 H=1 bit,每枚都意外;但连续一万枚公平硬币没有可学习结构,Kolmogorov 复杂度接近长度,压缩几乎无效。反过来,一枚 p=0.9 的硬币 H≈0.469 bit,随机性更低,却携带可检验结构:偏离 0.5 的偏差本身就是信息。
【隐式】认知科学里的预测编码/主动推断常把脑写成“最小化预测误差”的机器(Rao & Ballard 1999; Friston 2010)。但关键不是消灭所有误差,而是选择哪些误差值得更新模型。若误差来自不可压缩噪声,更新只会过拟合;若误差能降低未来预测的不确定性,它才具有【信息增益】。
【细微】这里要区分三个量:熵 H 衡量当前分布的无序;互信息 I(X;Y) 衡量观测 X 对未来 Y 的解释力;算法复杂度 K(x) 近似衡量序列能否被短程序生成。动物探索、儿童游戏、科学假说生成,都在寻找“中等意外”:太可预测无信息,太随机无压缩,只有“可解释的异常”能推动模型升级。
【极难发现】因此,把“好奇心=探索高熵区域”当成机制是危险的:它会把噪声当知识,把不可预测性当价值。真正的认知引力不是熵本身,而是【熵差的可压缩性】:哪里存在能被更短模型捕获的规律,哪里才值得投入注意。
【流程节点链路】观测序列 → 估计概率模型 → 计算熵与互信息 → 检验可压缩性 → 更新先验 → 生成可证伪预测。
【待验证点】如果给学习系统或儿童两类环境:A 是均匀随机噪声,B 是低熵但含隐藏规则;若“好奇心=最大熵”成立,应优先探索 A;若“好奇心=可压缩意外”成立,应优先探索 B。你怎么设计最小实验区分两者?







0 評論