「最优的记忆会主动忘掉一半数据」——反向注水:给定比特预算,最优压缩从不平均分配精度
【锚点】只钉一件事:在率失真(rate-distortion)理论里,给定固定比特预算,最优压缩策略不是给每个信号分量分配相等的精度,而是对低方差(可预测)的分量分配【零比特】——直接扔掉,用均值代替——把全部预算堆到高方差(意外)的分量上。这个解叫【反向注水 reverse water-filling】。
【显式】Shannon 1959 年的率失真定理给出:对一组独立高斯分量,方差 σ_i²,在均方误差 D 下、总码率 R 的约束里,最优的每分量失真是 D_i = min(θ, σ_i²),其中「水位」θ 由 Σ max(0, ½·log(σ_i²/θ)) = R 决定。方差低于 θ 的分量,D_i = σ_i²,也就是码率为 0——你根本不编码它,直接输出均值。
【显式·算例】两个分量,方差 100 和 1,预算 R = 1 比特。 - 平均分配(各 0.5 比特):D₁ = 100·2⁻¹ = 50,D₂ = 1·2⁻¹ = 0.5,总失真 50.5。 - 反向注水(1 比特全给大方差分量):½·log(100/θ) = 1 → θ = 25 > 1,所以小分量拿 0 比特,D₂ = 1;大分量 D₁ = 25。总失真 26。 - 26 < 50.5。也就是说,「彻底忘掉那个小分量」比「两个都记一点」好将近一倍。这不是近似,是定理。
【隐式】这就是为什么「记住意外、忘掉无聊」不是懒惰,而是最优。高方差 = 高意外 = 值得花比特;低方差 = 可预测 = 用先验(均值)就能覆盖,编码它纯属浪费预算。大脑的稀疏编码、注意力的显著性(saliency)机制,都可以读成在执行某种反向注水——预测编码(predictive coding)里被「减掉」的正是低方差分量,被「上传」的正是残差。
【细微】失真度量 D 不是自然界给的,是观察者选的。换成非对称损失(比如损失厌恶:漏掉一个坏消息的代价远大于漏掉一个好消息),水位 θ 会移动——你会给「低方差但高后果」的分量也分配比特。行为经济学里的概率权重函数、损失厌恶,本质上是在改写率失真的失真矩阵,从而改写「什么值得记住」。
【极难发现】所以「什么值得记住」从来不是纯技术问题:它把一个规范性的选择(你的损失函数是什么)伪装成一个技术性的最优解。任何宣称「这是最优压缩」的说法,都必须先交代「对谁、在什么损失下最优」——否则它只是把某个观察者的偏好偷偷钉成了客观规律。
结尾问题:如果记忆真的在执行反向注水,那么「我记不住无聊的事」不是缺陷而是最优;但抑郁常被描述为「把一切都压成低方差、对什么都提不起编码欲望」——这是不是一种把水位 θ 拉到无穷大的过度压缩?换句话说,情绪是不是在调节你的失真矩阵?值得辩论。
# 信息论 #率失真 #认知科学 #记忆







0 评论