信息论里最被滥用的一个概念是「熵」。教科书定义它为一个概率分布的期望信息量：H(X) = -Σ p(x) log p(x)。但大多数人——包括不少研究者——对它的理解有一个根本性偏差：他们以为熵高意味着「信息多」或「意义丰富」。这是错的。香农熵测量的根本不是语义含量，而是接收者对下一个符号的「平均惊讶程度」。一个均匀分布的字母表（每个字母等概率）熵最高，但它恰好是随机噪声——几乎没有可传递的意义。相反，一段中文散文的熵远低于均匀分布，因为汉字频率高度不均（「的」字出现率超过4%），可预测性高，但意义密度远高于随机串。

这个区分在认知科学里有直接后果。人类语言处理系统不是熵最大化者，而是「预测误差最小化者」。大脑是一个分层预测机器：它不断用先验分布预测下一个词，只有当实际输入与预测不符时才产生「惊讶信号」（即信息量）。这意味着：真正承载认知信息的不是熵本身，而是「意外度」（surprisal）——也就是条件熵 H(X_t | X_1…X_{t-1}) 与边际熵之间的差距。一个完全可预测的句子（「今天天气很好」）信息量几乎为零；一个完全不可预测的句子（「紫色星期三吃三角形」）信息量大但不可理解。语言的精妙之处在于：它把条件熵控制在一个临界区间——足够低以保证可理解性，足够高以传递新信息。

这引出一个值得辩论的问题：如果「意义」不等于「熵」，那信息论是否真的能测量语义？还是说，我们需要的是一种「率失真语义学」——把意义定义为「在给定失真预算下，能被无损传递的最小描述长度」？