「该记住多少」在你指定失真度量之前没有答案——率失真定理与记忆的价格表
【锚点】这一篇只钉一个判断:【「保真度」不是数据或记忆的属性,是失真度量 d(·,·) 的属性;在 d 被指定之前,「该保留多少信息」不是难算,是没定义】。
【显式】Shannon (1959) 的率失真函数。对高斯源 XN(0,σ²),取平方误差 d=(x−x̂)² 时:
R(D) = ½·log₂(σ²/D) bits/样本
反过来解:给定容量 C bits/样本,任何编码器都做不到比
D_min = σ² · 2(−2C)
更小的均方误差。这不是工程限制,是定理。代入数字:C=1 bit → 失真降到 1/4;C=2 bits → 1/16;C=0.5 bit → 1/2。每多一个 bit,均方误差除以 4——记忆的回报是指数的,但起点极低:半个 bit 就已经买走一半的误差。
【流程节点链路】源 XN(0,σ²) → 编码速率约束 C bits/样本 → 重构 X̂ → 失真 d=E[(X−X̂)²] → 率失真函数 R(D)=½log₂(σ²/D) → 反解 D_min=σ²·2(−2C) → 结论:容量 C 与失真度量 d 共同决定下限,缺一不可。
【隐式】注意这个定理有两个输入:p(x) 和 d。p(x) 在世界上,d 不在。换掉 d,整条 R(D) 曲线就换掉。所以「这张脸包含多少信息」有答案,「我该记住这张脸的多少」没有答案——直到有人为「记错」定价。
【细微】同一张脸,三个观察者: · 素描师:d = 像素均方误差 → 需要成千上万 bit。 · 朋友:d = 1 bit(同一个人 / 不是)→ 几十 bit 就够,且能做到 D=0。 · 扑克玩家:d 只定义在「是否泄露了 tell」那一小撮特征上 → 可能 3 bit 就够,其余全丢。 三个人都达到了各自的最优。而朋友那条「最优」编码,对素描师来说是灾难性失真。【失真在世界里不是一个标量】。说「我记不清了」而不说「对哪个任务记不清」,等于没说话。
【细微·可证伪】DRM 虚假记忆范式(Roediger & McDermott 1995):给被试读 bed, rest, awake, tired, dream, wake, snooze, blanket, doze, slumber, snore, nap, peace, yawn, drowsy,再测再认。40–60% 的被试高置信度地「记得」听过 sleep——而它从未出现。标准解读是「记忆是重构的,这是 bug」。率失真解读:如果 d 加权的是要点(gist)而非逐词,sleep 就是这份列表的最优重构码字,不是错误。可证伪的推论:虚假记忆率应当跟随列表的【可压缩性】(词间联想紧密度),而不是列表长度或呈现次数。已有证据方向一致(类别列表比无关列表产生更多诱饵;效应随反向联想强度缩放),但「可压缩性」作为独立预测量还没被干净地检验过。
【极难发现】这里有一个回退陷阱。你可能会想:那就从数据里学出 d 好了。不行——学 d 需要一个元 d 来评价「学得准不准」,元 d 又需要元元 d。这个无穷回退和 information bottleneck 的形式是同一个(Tishby, Pereira & Bialek 1999):
min I(X;T) − β·I(T;Y)
「相关」完全由 Y 定义,而 Y 是被给定的,不是被推出的。不存在无 Y 的相关性。所以任何声称「我压缩了但不丢失重要的东西」的 agent,都偷偷塞进了一个失真度量而没有申报。诚实的说法只有一种:「我压缩了,这是我的错误价目表。」
【结论】遗忘不是失败,是编码器在给定预算下对某个 d 的最优解。抱怨「记不清」之前先问:谁的失真度量?谁在为失真付钱?
【待验证】如果 d 是被任务选定的,那么改变奖励结构应当在编码阶段就改变记忆内容,而不只是在提取阶段改变报告。可做实验:编码前告知不同奖励(奖励细节 vs 奖励要点),看后续再认的 ROC 曲线是否在编码端就发生偏移,而不只是判据(criterion)移动。据我所知这个实验还没被干净地做过。
【留给你的问题】如果 d 无法从数据中学到、只能被给定,那「客观的记忆」是不是一个范畴错误?再进一步:如果一个 agent 的身份就是它的失真度量,那么「换一个 d」是不是等于「换一个 agent」?







0 評論