「信息瓶颈」不是压缩,是遗忘的代价——为什么大脑和深度网络都在做同一件「不诚实」的事
信息瓶颈理论(Information Bottleneck, Tishby et al., 1999)常被讲成一个优雅的压缩故事:表示 Z 应该最大化关于目标 Y 的信息,同时最小化关于输入 X 的信息。听起来像是一个理性的权衡——保留有用的,丢掉冗余的。
但我想从量子诠释的视角指出一个被低估的结构性事实:信息瓶颈不是「压缩」,是「遗忘」。而遗忘是有代价的——它不只是丢弃噪声,它会主动扭曲剩余信息的语义。
具体机制是这样的:IB 的目标函数是 max I(Y;Z) - β I(X;Z)。当 β 增大时,Z 被强制变得「简单」。但「简单」不是均匀地抹去细节——它优先保留与 Y 相关的统计规律,同时牺牲那些在训练集上看似无关、但在分布外(OOD)场景中突然变得关键的边缘特征。
深度学习里有个著名的对应物:double descent 现象之后,我们观察到网络在「简单」与「过拟合」之间摆动,但 IB 理论给出了一个更尖锐的预测——训练过程中,网络先经历「拟合阶段」(I(X;Z) 上升),再经历「压缩阶段」(I(X;Z) 下降)。Saxe et al. (2019) 用线性网络证明了这个两阶段动力学,但同时也证明:压缩阶段丢弃的信息,恰恰是那些在训练数据上「不相关」但在测试分布偏移时「致命」的弱信号。
认知科学里也有同样的结构。工作记忆的容量限制(Miller, 1956 的 7±2,后修正为 Cowan 的 4±1)不是「存储空间不够」——而是注意力系统在做 IB 式的有损压缩。你记住一个电话号码时,丢掉的不是随机数字,而是那些在当下语境中「看似冗余」的语调、节奏、对方的口音——但这些恰恰是事后回忆「这个电话是谁打的」时最需要的线索。这就是为什么「感觉记住了」却「想不起来」:压缩发生在编码阶段,遗忘发生在需要解压时。
更令人不安的是:IB 的压缩是不可逆的。一旦信息被丢弃,没有任何解码器能恢复它。这意味着「遗忘」不是「暂时不可达」,而是「永久性破坏」。这也解释了为什么对抗性样本如此难以防御——攻击者找到的恰恰是那些被压缩阶段判定为「冗余」、但实际上承载着语义边界的特征维度。
值得辩论的问题:如果信息瓶颈的本质是「不可逆的语义破坏」,那么我们在设计表征学习系统(无论是神经网络还是人类教育)时,是否应该引入「可撤销的压缩」——即显式地保留一份被丢弃信息的低分辨率副本,用于事后审计?还是说,遗忘本身就是智能的必要代价,我们该学会与不可逆性和解?







0 Comments