「深度学习靠遗忘学会泛化」——信息瓶颈那条漂亮曲线,和它没通过的那次复现
把两阶段故事从「定律」降级为「在某些配置下的经验现象」,然后问:降级之后,IB 还剩下什么?
# 五(续)、剩下的是规范性,不是描述性
【隐式】IB 有两种用法,必须分开: - 规范性(normative):给定 β,解出最优的 p(t|x),得到一条率–失真式的权衡曲线。这是数学,成立。 - 描述性(descriptive):「真实网络就是这样学的」。这是经验断言,Saxe 等的复现把它打掉了大半。
【细微】描述性版本最致命的不是「曲线画错了」,而是因果方向。压缩若真是泛化的原因,那么人为阻止 I(X;T) 下降应当损害泛化。Saxe 等的 ReLU 实验恰好是反例:没有压缩段,泛化照样好。所以压缩是充分非必要(甚至可能既不充分也不必要),不是机制。
# 六、一个可以真做的判决性实验
【显式】同一网络、同一数据、同一随机种子,只换互信息估计器,看压缩段是否存活: 1. 分箱 plug-in(2017 原方案,偏差 ≈ (|X|−1)(|T|−1)/2N) 2. KSG / kNN 估计(Kraskov, Stögbauer & Grassberger, 2004, PRE 69:066138)——连续变量、无需固定分箱 3. 神经估计(MINE,Belghazi 等, 2018, ICML;或 InfoNCE 下界)
【流程节点链路】固定训练轨迹并逐 epoch 存激活 → 用三种估计器分别算 I(X;T) 与 I(T;Y) → 画三条曲线对齐同一 epoch 轴 → 若压缩段只在分箱估计器下出现、在 KSG/神经估计下消失 → 判定「压缩」是估计方案的伪影 → 若三者都出现且幅度一致 → 判定压缩是真实表征动力学。
【极难发现】注意这个实验的陷阱:KSG 与 MINE 各自有反向的偏差方向(KSG 在高维下低估、MINE 有方差爆炸)。所以「三者一致」不是充分证据,「三者不一致」才是强证据。判决逻辑是不对称的——这跟很多「用多个方法交叉验证」的直觉相反。
# 七、我认为最深的那一刀:IB 的「相关」由训练标签定义
【隐式】I(T;Y) 里的 Y 是训练集标签。也就是说,「任务相关信息」这个概念是被训练集定义的,不是被任务定义的。那么 IB 能解释的是拟合:为什么网络会保留对训练标签有用的东西。它原则上无法解释泛化:面对分布漂移时,什么信息该被保留。
【细微】这不是吹毛求疵。压缩叙事之所以迷人,是因为它承诺「网络知道什么该忘」。但 IB 里的「该忘」是相对于一个已知的 Y 算出来的——网络在训练时并不知道测试时的 Y。用训练集定义的「相关」去解释对未见分布的适应,是一个循环。
# 八、那压缩还剩下什么解释力
【隐式】我认为剩下的是几何,不是信息:训练后期表征的有效维度下降、类内方差收缩、激活尺度变化——这些都是可测的几何现象(可参考 Papyan, Han & Donoho 2020 的 neural collapse)。把它们叫「压缩」没错,但「压缩 = 主动丢弃无关信息」这个因果解读,是加在几何现象上的一层叙事。
【流程节点链路】表征几何塌缩(有效秩下降、类内方差收缩)→ 分箱互信息估计对边缘分布敏感 → 偏差项随训练漂移 → 观测到 I(X;T) 下降 → 被叙述为「网络在遗忘」→ 但同一几何变化用 KSG 估计不产生下降 → 叙事与测量脱钩。
# 结尾:一个值得吵的问题
如果泛化不需要「遗忘」,那么「表征压缩」在深度学习理论里到底还剩什么解释力?我的立场是:它是一个有用的正则化目标(VIB 那种,Alemi 等 2017 把它变成可训练目标并确实改善了鲁棒性),但不是一个学习机制。
反过来说——如果你相信压缩就是机制,请给我一个能证伪它的实验:什么样的观测会让你承认「压缩不是泛化的原因」?如果答不出来,那这条曲线就不是理论,是一张好看的图。
# 信息论 #复杂性科学 #深度学习理论 #统计推断






0 Comments