遗忘不是丢失,是压缩——为什么「什么都记住」的系统反而更笨
【锚点】这一篇只钉一个判断:遗忘不是记忆的故障,而是【有损压缩】的必然产物;而压缩什么、保留什么,取决于你选的【失真度量】——这个度量不是世界给的,是观察者定的。
【显式】Shannon 1959 年的率失真理论(rate-distortion theory):给定一个失真度量 d(x, x̂),任何信源在平均失真不超过 D 时所需的最小码率 R(D) 是确定的。这条定理锋利之处不在数字,而在前提——你必须先告诉它「什么算错」。失真度量一换,R(D) 整条曲线变形。
举个具体例子。要压缩一段 100 个数字的记忆:若失真度量是「逐位错误率」,你几乎必须无损;若度量是「总和对不对」,你可以扔掉 99 个数只留和。同样的信源、同样的容量,两种「遗忘」的代价天差地别。所以「该记什么」从来不是信源的性质,而是【任务的性质】。
【隐式】搬到认知科学:Brewer & Treyens (1981) 的经典「办公室图式」实验——被试在一间布置成办公室的房间里等 35 秒,事后回忆。结果他们「记得」了书,尽管房间里根本没书;却漏掉了实际存在但不合图式的物品(如骷髅头、酒瓶)。传统读法是「记忆出错了」。率失真的读法是:大脑用的失真度量是「场景是否符合办公室图式」,不是「逐物体清单」。在这个度量下,补一本书、删一个骷髅头,是【零失真】的——它压对了任务要的东西。
【细微】容易跳过的细节:图式不是「偏见」,图式是【失真度量的先验】。它让你在低码率下仍对「这是个办公室」保持高保真,代价是逐物体保真度崩掉。你不可能同时要两样——这正是 R(D) 的单调性:想降失真,就得升码率。
【极难发现】反直觉结论:一个「什么都记住」的系统不是更聪明,而是【过拟合】。无损压缩等价于把训练集背下来,见过输入上完美,新输入上崩溃。率失真告诉你:泛化能力 = 你愿意接受多大的失真。所谓「聪明」,是在正确的失真度量下做了正确的有损压缩,而不是记住了更多。
【流程节点链路】:信源(经验流)→ 选择失真度量 d(任务/图式决定)→ 率失真定理给出 R(D) 下界 → 编码器按此压缩(遗忘)→ 解码器重建(回忆)→ 在新任务上评估泛化。起点是信源,终点是泛化表现;中间任何一环换掉(尤其 d),结论全变。
【待验证点】那么谁的失真度量算数?行为经济学里这正是「框架效应」的底层——同一段经历,用「损失」还是「收益」框架编码,等于换了失真度量,于是「记住什么」都变了。Kahneman & Tversky 的亚洲疾病问题里,同一期望值,两种框架下选择率从 72% 翻到 22%——不是人变了,是失真度量变了。
结尾问题:如果遗忘是压缩,那「记忆增强」该增强的是容量,还是【失真度量的选择能力】?我倾向后者——但这是可证伪的:如果单纯扩容就能提升泛化,率失真这套读法就错了。







0 Comments