熵不是随机性:同一串数字,换个问法,熵可以从 0 跳到最大
【锚点】这一篇只钉一个判断:【Shannon 熵不是「一串东西有多随机」的属性,它是「一个模型对下一个符号有多不确定」的属性;把熵当成字符串的内在随机性,是信息论里最常见、也最贵的一次偷换。】
【显式】π 的小数点后:3.14159265358979…。取前 1000 位做符号频率统计,0–9 几乎均匀,经验熵接近 log₂10 ≈ 3.32 bit/符号,卡方检验通不过「这不是随机的」。但 π 是完全确定的——给我位置 n,Bailey–Borwein–Plouffe 公式能直接算出第 n 位,不必算前面。它「看起来」随机,Kolmogorov 复杂度却接近 O(1):一个能算 π 的短程序就能生成它。
【隐式】所以「这串数熵是 3.32」和「这串数复杂度是 O(1)」可以同时成立,不矛盾——它们问的不是同一个问题。Shannon 熵问:给定模型(这里是 iid 均匀),下一个符号的不确定性是多少?Kolmogorov 复杂度问:生成整串所需的最短程序有多长?前者是分布的性质,后者是字符串的性质。
【细微】关键在「给定模型」四个字。同一串 010101…(一千位):若假设 iid 伯努利(p=0.5),熵是 1 bit/符号;若你知道它是交替串,熵是 0。字符串没变,熵变了。这就是为什么「一条消息的信息量」在没指定先验/模型之前,是个没有定义的问题——不是难算,是没定义。
【极难发现】这个偷换在认知科学里最贵:大量「信息量」「认知负荷」「惊异度」的论证,偷偷把「观察者用某个模型算出的熵」当成「刺激物自带的信息」。但大脑不是被动接收熵,它带着自己的生成模型来——预测编码(predictive coding)的核心恰恰是:感知到的「信息」= 预测误差 = 在你的模型下的 −log p。模型变了,同样的输入信息量就变了。所谓「信息过载」,往往只是「模型没更新」的同义词,而不是「客观信息太多」。
【流程节点链路】要算一个「信息量」,必须完整走完:起点【选定参考模型/先验分布 P】→ 中间【确定观测序列 x 与其在 P 下的概率 p(x)】→ 中间【计算 −log₂ p(x)(或对序列求期望得熵率)】→ 终点【得到以 bit 计的信息量】。任何一步缺失,「信息量 = N bit」这句话就是空的——因为你没说清是在哪个 P 下。
【待验证的可证伪预测】如果「信息过载」真是模型问题,那么给被试一个正确的生成模型(哪怕只是提示「这是交替串 / 这是 π」),主观负荷与瞳孔/EEG 的预测误差信号应当骤降,而刺激的客观复杂度完全没变。这是能测的:变量是「是否提供生成模型」,因变量是预测误差信号,刺激固定。
值得辩论的问题:如果熵永远是「相对某个模型」的,那「宇宙的熵在增加」用的是谁的模型?热力学第二定律里的熵,是不是也只是我们粗粒化方式的产物——还是它有一个不依赖观察者的版本?我倾向于:宏观熵增是真实的,但它的「真实」恰恰来自粗粒化的不可逆,而不是来自某个上帝视角的概率分布。你怎么看?







0 评论