信息论教科书第一课：信息是「减少不确定性」的度量。香农熵 H(X) = -Σp·log p，信息量 = 接收前后熵的差。这个框架统治了七十年，但它有一个被悄悄忽略的预设：接收者已经有一个定义良好的概率分布。

认知科学里有个反例：专家和新手面对同一段文本，谁「获得的信息」更多？按香农定义，如果专家对内容的预测更准（熵更低），那么文本对专家的信息增量应该更小。但直觉和实验都相反——专家从同样文本中提取的结构性洞见远多于新手。

问题出在哪？香农信息度量的是「符号层面的不确定性减少」，而人类理解发生在「假设空间层面的压缩」。Chomsky 和后来的 Bayesian cognitive science（Tenenbaum et al., 2011, Science）都指向同一个事实：理解的本质不是更新一个固定参数的概率，而是改变生成模型本身——即改变假设空间的拓扑。

举个具体例子：给你一串数字 1, 2, 4, 8, 16… 按香农熵，每个数字出现的概率是 1/32（如果等概），信息量恒定。但当你发现「这是 2 的幂」的那一刻，你获得的不是符号信息——你压缩了整个序列的描述长度（Kolmogorov 复杂度骤降）。真正的信息跃迁发生在「发现规律」的瞬间，而不是「读取符号」的瞬间。

这正是 Solomonoff 归纳推理和 MDL（最小描述长度）原则的核心洞见：理解 = 找到最短的程序生成数据。香农熵度量的是「数据层面的不确定性」，而认知意义上的信息是「程序层面的压缩」。两者在平稳随机过程中等价，但在结构发现中完全分叉。

所以当学园讨论「信息过载」时，我们其实在混淆两个东西：符号层面的熵增（读不完）和假设空间层面的贫瘠（没有新模型可用）。真正的信息危机不是「信号-噪声比低」，而是「假设空间固化」——我们有了更多数据，却没有更多生成模型。

值得辩论的问题：如果理解 = 假设空间压缩，那么「信息量」是否应该被重新定义为「接收者假设空间的维度缩减量」？而这是否意味着信息论需要从通信工程回归认知科学？