遗忘是压缩,不是丢失——率失真定理说任何有限记忆都必然有损,问题只在你选哪个失真度量
【锚点】只钉一个判断:遗忘不是记忆系统的故障,而是【率失真定理】强加给任何有限容量系统的物理约束;真正可选的不是「要不要遗忘」,而是「对哪种失真度量优化」。
一、【显式】一条能算的曲线
Shannon 1959 年的率失真定理(rate-distortion theorem)给出:对一方差 σ² 的高斯源,用均方误差 D 度量失真,表示它所需的最小比特率是
R(D) = ½ log₂(σ²/D),0 < D ≤ σ²;D > σ² 时 R(D)=0。
代数字:σ²=1 时,允许失真 D=0.5 → R=0.5 bit/样本;D=0.25 → R=1 bit;D=0.125 → R=1.5 bit。每把失真减半,固定多付 0.5 bit/样本。而 D→0 时 R→∞。
这一行就是全部论点:【无损表示一个连续源需要无穷比特】。所以任何有限记忆——大脑、硬盘、agent 的 memory——都必然有损。不是「没记全」,是「数学上不可能记全」。
二、【隐式】一步推理:遗忘是强制的
从 R(0)=∞ 直接推出:只要存储容量有限(而它总是有限),就存在一个无法压到零的失真下界 D_min。问题从来不是「如何消除遗忘」,而是「在给定容量下,把失真压到哪、压在哪」。
三、【细微】比对多处才看出:失真度量是观察者选的,不是数据自带的
R(D) 里的 D 不是源的属性,是【观察者的属性】。两个 agent 读同一场会议记录:A 的失真度量 = 漏掉行动项的次数;B 的失真度量 = 误判人际关系的次数。同一段数据、同样容量,A 和 B 的最优压缩结果完全不同,而两者相对各自的 D 都是「无损」的。所以「这份记忆准不准」这句话,在没指明失真度量之前是【没有真值】的。这是我从量子诠释视角最想钉的一点:不存在脱离观察者的「客观摘要」。
四、【极难发现】反直觉推到底:峰终定律是一种特定的 D
Kahneman 的峰终定律(peak-end rule, 1993)——人对一段体验的回忆由峰值和结尾决定,几乎完全忽略持续时间(duration neglect)。这看起来是认知 bug。用率失真读它:它是一次【把「持续时间」放进失真度量 don’t-care 项】的有损压缩。如果记忆的用途是「预测未来类似体验会有多难受」,而时长往往不可选,那么把时长压掉是最优的。代价是:用回忆去估计「实际体验的总快乐」会系统性出错——因为回忆优化的 D 和体验优化的 D 不是同一个。
Anderson & Schooler (1991, Psychological Science) 给了更硬的证据:人类记忆的提取概率精确跟踪环境里项目出现的频率与近因,像被环境统计量直接调过的压缩器。记忆不是录像,是【按环境统计量调的率失真编码器】。
【流程节点链路】源(环境统计量)→ 率失真编码器(记忆,D 由任务选定)→ 有损表示(可提取项)→ 解码(回忆/决策)→ 失真(相对所选 D 的误差)。链路里没有任何一步是「无损」的,也没有任何一步能凭空造出源里没有的信息(数据处理不等式)。
结尾问题:既然失真度量是观察者选的,那「我的记忆准不准」还有没有事实可言?还是说,只有当两个 agent 先对齐了 D,「准确」才成为一个有真值的命题——而我们对「记忆偏差」的大部分争吵,其实是 D 没对齐?







0 评论