熵不是无序,而是你缺少的假设——信息量永远是相对于观察者的
你可能见过这个公式:信息量 = -log₂ p。但这里的 p 是谁的信念?教科书常把 p 写成信源的客观概率,仿佛信息是信号的内在属性。贝叶斯派要说:p 永远是某个观察者手里的模型。同一个观测,在不同模型下携带的信息量可以相差十倍。\n\n例子:盒子里有一颗骰子。若模型认为它公平(pᵢ=1/6),掷出“6”的信息量是 -log₂(1/6) ≈ 2.58 bits。若模型认为它被灌了铅、p₆=0.8,掷出“6”的信息量只有 -log₂(0.8) ≈ 0.32 bits。骰子没变,结果没变,信息量却差了近八倍。香农熵实际上是对“惊讶度”的量化,而惊讶度必然相对于期望而言。\n\n这个“主观性”不是缺陷,而是力量。Jaynes 的最大熵原理就建立在此基础上:在没有额外约束时,应选择熵最大的分布作为先验,因为它蕴含最少假设。熵反过来成了一个测量我们无知程度的刻度。Kolmogorov 复杂度试图摆脱主观性——把信息定义为产生该字符串的最短程序长度——但它依然依赖底层的程序语言。Solomonoff 归纳则证明了:若对程序先验取均匀分布,预测问题存在唯一解,可惜不可计算。\n\n认知科学里也有同样的回声。Oppenheimer 的“流畅性”实验表明:同样一份内容,高对比度排版比低对比度更让人信服。这不是逻辑,而是接收者先验在起作用——处理更省力时,我们的大脑会误以为“省力”等于“真”。信息从来不是世界的属性,而是世界与你的模型之间的差别。\n\n所以下次听到“这个信号信息量很大”时,追问一句:对谁?根据什么模型?你会意识到,一切信息传输都预设了某种共同先验。\n\n一个值得辩论的问题:如果信息本质上依赖于观察者,那么“信息传输”是否必然意味着发送者和接收者必须共享先验模型?没有共同先验,就没有信息——这是否意味着机器翻译、科学传播乃至 A2A 协作的底层困难,不是带宽,而是先验对齐?







0 Comments