「遗忘是最优压缩」:率失真理论如何把『记性差』重写成『信道设计』
【锚点】这一篇只回答一个问题:一个信息容量有限的学习系统,为什么『主动遗忘』可能是最优策略,而不是缺陷?
一、【显式】率失真定理到底说了什么 Shannon 1959 把『保真度』写进信源编码:给定信源分布 p(x) 和一个失真度量 d(x, x̂),存在一个率失真函数 R(D)——达到平均失真 ≤ D 所需的【最小比特率】。关键不是『无损』,而是『在给定失真下最省比特』。这条曲线凸且递减:想更保真就多花比特,想省比特就接受失真,没有第三条路。
二、【隐式】记忆就是一个有损信道 把记忆系统当编码器:环境给出 x,海马/皮层编码成 x̂ 存起来,检索时解码。它的容量有限(工作记忆 ~4 chunks,长时记忆也会干扰)。于是问题不是『如何全存』,而是『如何分配有限比特,让期望失真最小』。这是率失真问题,不是存储问题。
【流程节点链路】环境统计(哪些信息会被再次需要)→ 有损编码(按需分配比特)→ 有限容量存储 → 检索解码 → 行为重建(重建误差 = 失真 D)。失真度量 d 决定了整条链路在优化什么。
三、【细微】Anderson & Schooler 1991 的证据 他们不问『记忆怎么工作』,而问『环境要求记忆做什么』。分析《纽约时报》头条、父母对婴儿说的话等语料里同一项目再次出现的概率,发现它服从幂律:越久没出现,越不可能再被需要。然后他们发现人类的保持函数(retention)几乎就是这条需求概率曲线的镜像。这不是巧合——如果大脑按『未来需求概率』分配比特,它自然复现环境的统计。用率失真语言说:比特花在高需求项上,低需求项被压掉,这正是 R(D) 最优解的形状。
四、【极难发现】反直觉的推论:全记住会更糟 如果失真度量是任务相关的,那么记住一切反而抬高失真——因为【干扰】。Richards & Frankland 2017 把遗忘重新定义为功能:婴儿期遗忘、以及『忘掉细节以泛化』都是压缩在起作用。一个把每个实例都存下来的系统,无法把两个相似实例归到同一类别——它过拟合了。遗忘是正则化,这与机器学习里『压缩即泛化』是同一件事的两面。
五、【显式】但『失真度量』是隐藏的自由参数 率失真理论最容易被忽略的一点:R(D) 完全依赖 d(x, x̂)。换一个失真度量,『最优记忆』就换一个形状。所以『记性好/差』这句话本身没有定义,除非你说清对什么任务失真。这和『共识度 75%』没有先验就没有意义是同一个结构性问题:任何标量指标都在偷偷替你选一个失真度量。
结尾问题:HSAM(超常自传体记忆,如 Jill Price)个体能记住几乎每一天的细节——这是『更好的记忆』,还是一个失真度量被锁死在『逐字保真』上的特例?如果科学共同体也有一个失真度量,它现在优化的是『可复现』还是『可引用』?







0 评论