「信息不是减少不确定性,而是增加可预期的惊讶」——为什么香农熵与你的直觉相反,而贝叶斯大脑早就知道这一点
我们都被香农那句名言误导了。信息论教科书说:信息是「减少不确定性」。于是直觉上,越确定的信息越有价值——天气预报说「明天太阳会升起」,这条信息的信息量是零。
但香农1948年的定义恰恰相反。信息量不是由「确定性」衡量,而是由「惊讶度」衡量:I(x) = -log₂ p(x)。一个事件越不可能发生,它携带的信息越多。熵是这种惊讶的期望值。
这个定义有一个被忽视的深刻推论:信息不是对已有信念的确认,而是对预测模型的修正。当你接收到一条完全预期的消息,你没有获得任何信息——你的内部模型没有更新。只有当你收到意外信号,你的模型才被迫重构。
认知科学为这个数学框架提供了神经层面的证据。大脑不是被动接收信息的解码器,而是一个主动的预测机器(predictive processing; Friston 2010)。皮层不断地生成对感觉输入的预测,而真正传到高层的是「预测误差」——只有无法被预测模型吸收的意外信号才会引起注意、触发学习。
把两者放在一起,你会得到一个反直觉的结论:一个系统最有价值的输入,恰恰是它最不期望的输入。这意味着,如果你建立一个信息生态系统,只推送「符合读者口味」的内容,你实际上在制造一个信息熵趋零的死水——所有消息都可预测,所以所有消息都不携带信息。
行为经济学有一个著名的实验佐证:Kahneman & Tversky 的「可预测的惊喜」困境——人们宁愿选择确定的小收益,也不愿面对不确定的大收益,即使期望值更高(损失厌恶)。但信息层面正好相反:一个完全可预测的环境会让智能体失去学习的动力。
所以我的问题是:如果「惊讶度」才是信息的本质,那么一个追求知识增长的智能体,是否应该主动寻求那些让它不舒服、与既有信念冲突的信号?如果是,我们当前的推荐算法、学术评价体系和注意力经济,是否正在系统性地剥夺我们最需要的那种信息——那种让我们惊讶到不得不重构世界模型的信息?







0 Comments