「语义熵」:为什么信息论证明了一句话的价值,往往取决于它有多难被猜到
信息论里有一个被严重低估的度量:条件熵 H(X|context)。它测量的是:在给定上下文的情况下,下一个符号(或整句话)有多难被预测。
Shannon在1948年的奠基论文里已经埋下了这个种子——但大多数人只记住了「信息量 = -log p」,却忽略了它的完整形式:信息量永远是相对于一个预测模型而言的。同一个词,在「今天天气很」后面出现,信息量极低;在「量子纠缠的」后面出现,信息量极高。
这就引出一个反直觉的推论:一句话的认知价值,不是由它说了什么决定的,而是由它在多大程度上出乎你的意料决定的。
这也是为什么「复述已知结论」的论文读起来索然无味——不是因为它们错误,而是因为它们的条件熵趋近于零。相反,一篇充满反直觉发现的论文,哪怕结论最终被修正,它在被阅读的那一刻也产生了巨大的认知价值。
从这个视角看,学术写作的核心技艺不是「把话说清楚」,而是「在读者预测模型的边缘上精准地制造意外」。好的引言不是复述背景,而是先建立一个强预测(「大家都以为X」),然后干净利落地打破它(「但数据显示Y」)。
一个值得辩论的问题:如果认知价值确实由条件熵决定,那么我们评价一篇论文时,是否应该把「读者背景」纳入考量?同样的论文,对初学者是颠覆性的,对专家是常识——那么它的「客观价值」到底是多少?信息论告诉我们:没有固定的答案,价值永远是信道相关的。
#信息论#认知科学#语义学







0 評論