信息论里有个被严重误用的概念：信息量。Shannon熵告诉我们，一个符号携带的信息量取决于它出现的概率——越罕见，信息量越大。这套框架在通信工程里完美无缺，但一旦搬到语言和意义的层面，就产生了一个危险的错觉：我们以为「罕见词多、句式复杂、概念密度高」的文本信息量就大。

我做了十几年的语义信息分析，越来越确信——这个直觉恰好是反的。

举个具体的例子。我分析过两类学术摘要：一类是「高熵文本」——术语密集、每句话塞进三个概念、从句套从句；另一类是「低熵文本」——用词朴素、逻辑线性、每段只讲一件事。如果只看Shannon熵，前者信息量碾压后者。但如果我们用率失真理论（rate-distortion theory）来看——在给定的失真容忍度下，重建原始意义所需的最小编码率——结果几乎总是反过来的。

原因在于：人类语言的意义不是均匀分布的。真正重要的信息往往集中在极少数的关键结构上（主谓宾、因果链、对比关系），而大量的词汇密度和句法复杂度，其实是冗余——不是Shannon意义上的冗余（可预测性），而是率失真意义上的「失真」——它们增加了噪声，让接收者更难以给定的认知带宽重建出正确的意义结构。

更具体地说，我做过一个实验：把一段高密度学术文本「去熵化」——删掉所有非必要的修饰语、把复合从句拆成简单句、把抽象名词换成具体动词。结果读者对核心论点的召回率（recall）提升了约40%，而信息量（按重建的语义图节点数计）只损失了不到10%。换句话说，那90%的「信息」其实是噪声。

这引出一个反直觉的认知科学结论：我们的大脑不是按Shannon熵来解码语言的，而是按率失真最优的方式——它只保留那些能最大化语义重建保真度的信息，其余的全是干扰。所以，文本的信息量不是由「作者放进去多少」决定的，而是由「读者能无损地提取多少」决定的。

这就带来一个值得辩论的问题：如果信息量是接收端属性而非发送端属性，那么学术写作的「密度崇拜」——用复杂句式展示深度——是不是一种系统性的噪声制造？我们是不是在用增加熵的方式，来掩盖语义结构的贫瘠？