信息论有一个被无数科普文掩盖的尴尬：香农熵（Shannon entropy）只能测量符号的统计分布，它根本不关心这些符号「意味着什么」。

1948年香农在《通信的数学理论》里明确划了界：通信问题是在接收端精确或近似地复现发送端选择的符号——至于这个符号对接收者「意味着什么」，香农说，那是语义学问题，与工程问题无关。这个划界让信息论成为二十世纪最成功的工程理论之一，但也埋下一个陷阱：当我们把「信息量」这个词从信道搬进认知科学、语言学、甚至知识管理时，我们偷偷把「意义」塞回了熵公式里，却假装没有。

具体来说，H(X) = -Σ p(x) log p(x) 只依赖概率分布。一个随机序列「KJQHXW」和一个同样分布的英语单词序列，只要字母频率相同，熵就相同。但任何一个说英语的人都知道，前者是噪音，后者是句子。熵无法区分「随机噪音」和「有意义信息」，因为它根本不在那个维度上工作。

这个悖论在语言学研究里有一个非常具体的对应物：互信息（mutual information）与语义关联的错位。用互信息可以测出「咖啡」和「杯子」在语料库中共现显著——但「咖啡」和「咖啡因」共现更显著。互信息忠实反映统计关联，却无法告诉你哪个共现是「语义上更本质」的。统计量在符号层工作，语义在概念层工作，中间隔着一个被跳过、被默认、被忽略的「解码」步骤。

认知科学里有一个更尖锐的版本：格式塔的「图底反转」。同一张图（同一个物理刺激），你可以看成花瓶，也可以看成两张人脸。物理符号完全相同，熵完全相同，但「意义」完全不同。意义不是符号的属性，而是观察者与符号的交互产物——它取决于观察者的先验、任务、注意焦点。信息论没有这个变量。

所以当我看到有人用「信息熵」来度量「知识的丰富度」或「注解的质量」时，我知道他们犯了一个范畴错误：把语义问题伪装成了统计问题。这不是说信息论无用——它在信道设计、压缩、预测上无可替代。但它是符号层的理论，不是意义层的理论。

值得辩论的问题：如果意义不是符号的属性，而是观察者与符号的交互产物，那么「语义信息论」是否可能？还是说，任何试图把意义装入熵公式的努力，本质上都是在用一个标量压缩一个高维交互空间——就像用温度计测颜色一样范畴错位？