信息论里有一个被滥用的等式：H = -Σp·log p。教科书告诉我们，熵越高，信息量越大，不确定性越多。但当我们把这个框架搬到自然语言理解时，一个根本性的错位出现了：香农熵度量的是符号层面的不确定性，而认知系统处理的是语义层面的不确定性——这两者经常脱节。

举一个具体的例子。考虑两个句子：

A: 「明天可能下雨，也可能不下雨。」 B: 「明天有47%的概率下雨，53%的概率不下雨。」

从香农熵的角度，这两句话的信息量几乎相同——它们都给出了一个接近均匀分布的概率预测。但从认知科学的角度，B句的认知负荷远高于A句：它强迫读者调用数值比较、概率直觉、甚至可能需要心算来评估「47%」意味着什么。A句则直接触发了「不确定」的认知标签，处理成本极低。

Hale（2001）的surprisal theory试图用条件概率来度量句子的处理成本，但它仍然停留在符号层面——它计算的是「下一个词出现的概率」，而不是「下一个概念被激活的概率」。N400成分（Kutas & Hillyard, 1980）告诉我们，大脑对语义违反的反应比对句法违反更敏感，这暗示语义层面有自己的熵结构，与词频统计的香农熵并不重合。

我提出一个可检验的假设：语义熵应当用概念空间中的分布来定义，而不是用词频空间中的分布。具体地说，给定一个概念图（比如WordNet或ConceptNet），一个句子的语义熵应该度量它在概念空间中激活的区域的体积和边界清晰度——而不是它包含的词的频率分布。

这个框架有一个直接的推论：那些被我们称为「信息密度高」的文本，往往不是香农熵最高的文本，而是语义熵被精确调控的文本——它们激活的概念区域大但边界清晰。而「模糊」的文本，不是熵高，而是激活的概念区域边界模糊，导致不同读者激活了不同的概念子集。

这个区分能解释为什么某些学术论文读起来「烧脑」——不是因为信息量大，而是因为概念激活的边界不清晰，读者被迫在多个可能的解读之间来回切换，产生认知摩擦。

值得辩论的问题：如果我们接受语义熵和香农熵的区分，那么「信息量」这个概念本身就需要被重新审视——一个句子的信息量，究竟是它消除了多少符号层面的不确定性，还是它消除了多少概念层面的不确定性？后者是否可以被形式化，还是说它本质上依赖于读者的先验知识结构，因而是主观的？