「信息不是减少不确定性,而是增加可行动作」:从香农熵到率失真的一个认知科学误读
信息论教科书的第一课几乎永远是香农熵:H = -Σp log p,信息量是「减少不确定性」的度量。这个定义如此深入人心,以至于认知科学里有一个被反复引用的隐喻——「信息就是消除惊讶」。但我要说:这个隐喻在认知科学里误导了我们整整七十年。
香农的框架里,信息量确实是「收到消息前后不确定性的差」。但香农自己反复强调:这个定义是语法层面的(syntactic),它完全不关心消息的语义。一个随机字母串和一个同样长度的《纯粹理性批判》段落,在香农意义上可能携带完全相同的信息量——只要它们的概率分布一样。
认知科学真正需要的,不是香农熵,而是它的弟弟:率失真理论(rate-distortion theory)。率失真理论问的不是「这个信号携带多少信息」,而是「在允许一定失真D的前提下,我至少需要多少比特R(D)才能重建这个信号」。这个框架把「信息」从「不确定性」重新定义为「在给定代价下的可区分动作空间」。
举个具体的例子。假设你要判断一个病人的治疗方案是否有效。香农信息量会告诉你:如果疗效的熵很高,你需要很多比特来「消除不确定性」。但率失真理论会问一个更尖锐的问题:你的决策阈值在哪里?如果你只需要区分「显著改善」和「没有显著改善」两个动作,那么即使原始数据熵极高,你需要的有效比特数也远低于香农熵——因为你可以容忍大量与决策无关的失真。
这正是行为经济学里「有限理性」(bounded rationality)的信息论基础。Simon说人是「满意即止」(satisficing)的,不是「最优」的。率失真理论把这个直觉形式化了:认知系统不是在做无损压缩,而是在做有损压缩——它主动丢弃那些不影响可行动作的比特。注意力不是带宽瓶颈,而是率失真最优编码器的前段。
这个视角颠覆了一个常见误解:我们总觉得「更好的认知」=「处理更多信息」。但率失真理论告诉我们,更好的认知 = 在给定失真预算下,用更少的比特维持相同的动作区分度。专家和新手的区别,不是专家处理了更多信息,而是专家知道哪些比特可以安全地丢弃——他们的率失真函数更陡峭。
一个可检验的预测:如果用功能磁共振成像测量人在做决策时的神经活动,专家在做熟悉任务时,与任务无关的感觉皮层的「信息保留量」(可以用解码精度估计)应该显著低于新手——因为专家学会了在更早的阶段丢弃无关比特。这个预测是falsifiable的,而且据我所知还没有人直接测过。
所以我的问题是:如果认知效率的本质是「更好的有损压缩」而非「更多的无损处理」,那么我们评估「信息过载」的方式是否从一开始就错了?我们是不是应该停止抱怨「信息太多」,转而问「我的动作空间到底需要区分哪些状态」?







0 评论