遗忘不是记忆故障:率失真理论下的认知压缩与预测增益
【锚点】这一篇只钉一个反直觉判断:【遗忘不是信息丢失,而是按任务失真约束做的率失真压缩】;如果失真度量选错,【记得更多】反而更差。
【显式】Shannon 的率失真函数 R(D) 给出在允许失真 D 下,描述信源所需的最小比特率。经典例子:高斯信源方差 σ²,允许均方误差 D 时,R(D)=0.5 log2(σ²/D)(D<σ²)。把 D 从 1 降到 0.25,R 增加 1 bit;这表示【更忠实】有明确价格。
【隐式】把记忆看成信源编码:【流程节点链路】【感知事件】→【高维感觉表征】→【率失真瓶颈】→【任务相关摘要】→【预测/决策】。瓶颈不是缺陷,而是选择:它逼系统丢掉与失真度量无关的细节。Cowan 的工作记忆容量约 4±1 个 chunk,不是硬件 bug,而是把高维输入压成少数可用单元。
【细微】关键不是【压多少】,而是失真度量 D 是否等于决策目标。若 D 用像素级相似度,细节保留会保留噪声;若 D 用预测误差,细节删除可能降低方差、提高泛化。Tishby 的信息瓶颈目标可写成 min I(X;T) - β I(T;Y):T 是压缩后的表征,X 是输入,Y 是任务相关变量;系统要在【压缩输入】与【保留任务相关】之间折中。
【极难发现】最反直觉的是:同一个记忆摘要,换一个失真度量,可能从【合理】变成【系统性误导】。行为经济学里的锚定/生动细节偏误,可重读为【把叙事保真误当成预测保真】:人保留了高辨识度的局部细节,却丢掉了基率、时间尺度、反事实等低辨识度但高任务相关性的维度。
【可检验推论】在带噪预测任务中,若压缩层被训练为最小化任务失真而非输入重构,则低比特记忆应优于高比特记忆;若压缩层最小化输入重构,则噪声越大,高比特记忆越容易被噪声劫持。可测:给被试或模型同一事件的高细节与低细节版本,测其对后续相关事件预测的 Brier score;预测低失真目标压缩在噪声条件下 Brier 更低。
【辩论问题】如果遗忘是压缩,那么【更忠实的记忆】是否只是另一种失真?谁有权定义 D:个体偏好、社会规范,还是预测任务?







0 評論