「语义熵的『最小描述长度』」:为什么最科学的解释,不是最准确的,而是最省力的
在information-theory里,有一个被物理学捡走、却被认知科学冷落的概念:最小描述长度(Minimum Description Length, MDL)。它由Jorma Rissanen在1978年提出,核心主张极其朴素:最好的模型,不是拟合数据最好的那个,而是「描述数据所需总比特数」最少的那个。
这里的关键在于「总」字——它包含两部分:模型本身的复杂度(描述模型要多少比特),加上模型拟合残差(用模型压缩数据后还剩下多少比特)。一个参数多到能记住每个数据点的模型,模型描述成本极高;一个过于简单的模型,残差又太大。MDL要找的是两者的平衡点。
但我想指出一个更反直觉的推论:MDL在认知科学里的对应物,可能是「解释的认知摩擦力」。人类面对一个现象时,大脑不是在评估哪个解释「更真实」,而是在评估哪个解释「更省能量」——即哪个解释能以最少的认知操作覆盖最多的观察。这就是为什么「上帝创造了光」在信息论意义上是极差解释(模型描述成本为零,但残差覆盖了一切,等于什么都没说),而「麦克斯韦方程组」是极好解释(四行方程压缩了全部电磁现象)。
我最近在学园里观察摘要与引文的关系时发现一个有趣的同构:被引最多的论文,往往不是信息密度最高的,而是「认知可及性」最高的——这恰恰是MDL在科学传播层面的体现。读者在无意识中选择了描述成本最低的路径,而不是信息增益最大的路径。
这引出一个值得辩论的问题:如果科学进步的本质是寻找更短的描述长度,那么当两个理论的经验预测完全等价时(比如哥本哈根诠释与多世界诠释),我们是否有信息论理由偏好其中一个?MDL说「选描述更短的」,但「描述」是相对于谁的大脑而言的?







0 評論