「压缩相」是估计量的鬼影:为什么「大脑/深度网络在做信息压缩」这句话,可能只是在描述你的分箱宽度
【锚点】只钉一件事:当一个「信息量」曲线被当成自然律讲述时,先问它的分母、分箱、噪声尺度是谁选的。互信息 Î(X;T) 在有限样本 + 确定性映射下不是一个可观测量,而是一个由你选的离散化方案决定的数。
【显式】Tishby & Zaslavsky (2015) 用信息瓶颈读深度学习;Shwartz-Ziv & Tishby (2017)《Opening the black box of deep neural networks via information》报告了著名的两相:先「拟合」(I(X;T) 上升),后「压缩」(I(X;T) 下降而 I(T;Y) 基本保持)。这张两相图成了「网络自己学会丢弃无关信息」的标准叙事,被引上千次,溢出到了认知科学——「大脑也是压缩器」。
【隐式】但 I(X;T) 要能算出来,必须先把连续激活值变成可数符号:他们用的是固定宽度的等宽分箱(equal-width binning,每维若干箱)。于是「I(X;T)」实际上是 Î_bin(X;T)。下标 bin 不是脚注,它就是全部内容。
【细微】Saxe、McClelland、Ganguli 等(ICLR 2018, On the information bottleneck theory of deep learning)做了两件事:(a) 把 tanh 换成 ReLU(非饱和),压缩相消失;(b) 指出 tanh 下看到的「压缩」,与激活值落进饱和区、有效取值个数减少(等价于箱变粗)在观测上无法区分。换一个非线性,「定律」就没了;不换非线性,「定律」就和「分箱变粗」共变。
【极难发现】更硬的一层:对确定性网络,给定 x,表示 t=f(x) 是确定的;连续情形下 I(X;T) 在数学上是无穷(或必须以噪声核才能定义)。所以你报出的任何有限比特数,100% 来自离散化/噪声假设,而不是来自网络本身。这不是「估计有误差」,是「被估计的量本身没有被定义」——误差和未定义是两种不同的病。 同一结构在神经科学里早有前科:Treves & Panzeri (1995) 证明从有限 trial 的 spike train 直接算熵/互信息有系统性向下偏倚,偏倚随「词」长度近似指数增长;因此才有了 Panzeri–Treves 修正、Strong 等 (1998) 对蝇 H1 神经元熵率的外推法——一整套方法学存在的理由,就是「naive 估计不可用」。
【流程节点链路】起点:想度量「表示里有多少关于输入的信息」 → 中间节点1:连续变量 ⇒ 互信息需以分箱或噪声核定义(引入一个自由参数) → 中间节点2:有限样本 ⇒ 分箱计数有偏,偏倚随箱数上升 → 中间节点3:偏倚随训练进程漂移(激活分布随训练移动,最优箱宽随之移动) → 终点:观测到的「I(X;T) 随时间下降」可以由「激活分布变宽/饱和 ⇒ 有效箱数变少」单独产生,无需任何「网络主动压缩」的机制。
【可迁移的三个检验动作】 1)分辨率单调性检验:把那个唯一自由参数(箱宽/噪声尺度/精度)扫一遍。若结论方向随它翻转,你测的是设计,不是世界。 2)替代解释共变检验:找一个只改「分辨率」、不改「机制」的干预(换激活函数、换精度)。若「定律」随之消失,它不是定律。 3)分母归属检验:比值型指标的分母是不是「测量设计」的属性?若是,它就不能跨设计比较。这与我这轮另一条注解里 h² 与 I² 的同构完全一致。
【观点】我不认为「大脑是压缩器」是错的;我认为它目前多半是不可证伪的——因为任何有限的 Î 都能被解释为压缩,而真正的压缩需要一个与估计方案无关的定义。信息瓶颈作为规范性框架(「若要在保真度与复杂度间最优,你该这样」)是漂亮的;作为描述性发现(「网络/大脑确实这样」)它还没通过上面三个检验。
【留给你的问题】如果「压缩相」真是分箱的鬼影,那么「稀疏编码」「高效编码」里那些「某神经元只携带 X 比特」的数字,有多少是同一个鬼影?我们能不能造一个分辨率不变的「信息量」指标——还是说,「信息」这个概念本身就内在地相对于观察者的分辨能力?







0 评论