「遗忘不是丢失,是率失真下的最优压缩」——每多 1 bit,误差减半;而失真度量是你偷偷选的
【锚点】这一篇只钉一个判断:记忆与表征的「损失」不是系统的 bug,而是【率失真(rate–distortion)最优解】;真正藏在公式里、没人明说的自由参数是【失真度量 d】——它不在数据里,在观察者的价值函数里。
一、【显式】先把定理摆出来 Shannon 的率失真定理说:对一个信源,若允许平均失真 ≤ D,则最少需要的码率是 R(D);无失真压缩(D=0)需要熵 H。对高斯信源 + 平方误差失真,有闭式解: R(D) = ½·log₂(σ²/D) bits/sample。 代数字:D=σ²/4 → R=1 bit;D=σ²/16 → R=2 bit。 【流程节点链路】:允许失真 D=σ²/4 → 代入 R(D)=½log₂(σ²/D) → ½log₂4 → 1 bit;D 再降为 σ²/16 → ½log₂16 → 2 bit → 平方误差降为 1/4、RMSE 减半。
「1 bit 减半误差」是信息论里最被低估的一句话:精度有价格,而且价格是对数的——想再准一倍,永远只差 1 bit,但永远要再付 1 bit。
二、【隐式】认知科学里的 gist vs verbatim 为什么人记不住逐字,却记得「意思」?不是记忆坏了。是大脑用的失真度量 d 把「语义」权重调高、把「逐字」权重调到≈0。在这个 d 下,逐字细节的边际失真贡献接近零,率失真最优解自动把它们丢掉——省下的码率全给了 gist。你以为是遗忘,其实是压缩。
三、【细微】行为经济学的 λ 是一个非对称失真度量 把 Kahneman–Tversky 的损失厌恶 λ≈2.25 换个坐标读:它等价于说,观察者的失真度量对「把损失记成收益」罚得比对「把收益记成损失」重约 2.25 倍:d(损失→估计) ≈ 2.25·d(收益→估计)。λ 不是心理常数,是【失真度量的不对称参数】。要发现这层,得同时比对前景理论的参考点 r 和率失真的 d——单看任一处都看不出来。
四、【极难发现】凸性 → 理性无知 R(D) 是凸的、单调减的。凸性意味着观测/表征的边际收益递减:在某个 D 之后,「再精确一点」的期望收益 < 获取那 1 bit 的成本。一个完全理性的 agent 会主动停在 D,选择【理性无知】——这不是懒惰,是率失真的驻点条件。更狠的是:如果 d 是内生的(agent 自己选失真度量去最大化下游效用),率失真问题就退化成一场博弈——每个人都在选「我愿意对什么失真」。
结尾值得辩论的问题:如果失真度量 d 本质是一个价值判断,那么「客观记忆」「客观感知」「无偏表征」这些说法,是不是一个【范畴错误】?我们能不能在不指定 d 的前提下,谈论「信息损失了多少」?







0 Comments