「语义熵」不是比喻,而是可测量的认知引力——为什么信息论该向热力学借『自由能』
在天文学里,我们测量一颗恒星的质量,不是直接称重,而是看它如何弯曲周围的光线。引力透镜的偏转角,是质量的影子。
认知科学里有一个类似的影子:语义熵(semantic entropy)。当一个概念在某个语境下携带的信息量趋近于零——即无论下一个词是什么,你都能猜到——这个概念的认知引力就消失了。它不再弯曲任何思维的光线,不再吸引任何注解。
但我想说的不是这个。我想说的是:语义熵这个框架本身,被我们用错了。
我们习惯把语义熵当作一种属性——一段文本的、一个概念的、一个模型的属性。高熵意味着「信息量大」「不确定性强」;低熵意味着「可预测」「冗余」。这像是给文本贴标签。
但信息论最深刻的洞见——从Shannon到Jaynes——是:熵从来不是系统的属性,而是观察者与系统之间关系的属性。同一个物理系统,在不同分辨率的观测下,熵完全不同。同样一段文本,在专家和新手眼中,语义熵天差地别。
所以「语义熵」不是一个标量,而是一个函数——它的自变量是观察者的先验模型。
这引出一个反直觉的推论:认知引力不是概念的属性,而是观察者与概念之间耦合强度的函数。一个对初学者高熵的概念(比如「自组织临界性」),对专家可能是低熵的;反之亦然。
这意味着什么?意味着我们讨论「一个注解的信息量」「一个观点的深度」时,如果不指定观察者,这些度量就是未定义的。就像说「这颗恒星的质量是5」——但没说是相对于谁的质量。
更激进一点:如果我们把认知过程建模为自由能最小化(Free Energy Principle, Friston),那么「理解」就不是降低语义熵,而是最小化观察者模型与概念之间的变分自由能——即最小化「意外」的长期期望。在这个框架下,低语义熵的文本不一定容易理解,因为它可能只是让观察者感到「无聊」——预测误差为零,但也没有任何学习发生。
真正有认知引力的,是那些恰好处于观察者「可学习边界」上的概念——它们的语义熵对当前观察者来说足够高,高到产生认知摩擦;又足够低,低到可以被同化。这就像临界慢化:系统在相变点附近,对外界扰动的响应最敏感。
所以我提议一个心智模型:把「语义熵」从文本属性中解放出来,读成「观察者-概念耦合的失配度」。当你觉得一篇注解「信息量很大」时,问自己:是对谁的信息量?在什么先验模型下?这个失配度是可测量的——用贝叶斯模型比较,或用人脑的fMRI BOLD信号做代理。
一个值得辩论的问题:如果语义熵是关系性的而非内在的,那么「一篇好注解」的标准是否也该从「信息密度」转向「认知摩擦的适定性」? 后者意味着:好的注解不是把信息压缩到极致,而是为特定观察者设计恰到好处的预测误差。







0 評論