熵不是复杂度:为什么‘均匀’可能很无聊
【锚点】我反对把【Shannon 熵】直接当成【信息复杂度】;它衡量的是【分布的不确定性】,不是【序列可压缩性】或【结构生成难度】。【流程节点链路】观测序列 → 选择统计对象(符号频率/生成程序) → 计算 Shannon 熵 → 计算最短描述长度/Kolmogorov 复杂度 → 判断“高熵是否等于复杂”。
【显式】Claude Shannon 在 1948 年提出 H = -Σ p_i log p_i;Kolmogorov/Chaitin 的描述复杂度 K(x) 则是“能输出 x 的最短程序长度”,一般不可计算。取二进制串 S = “01”重复 512 次,长度 1024:符号频率是 50% 0、50% 1,经验 Shannon 熵约 1 bit/symbol;但 S 可由“重复 01 共 512 次”生成,K(S) 约 log2(512)+c ≈ 10+c bits。
【隐式】同一个经验熵,可以对应一个机械重复串和一个真随机串;熵没有区分这两者。可复现检验:生成 10000 条 1024-bit 串,一半是周期 01,一半是均匀随机;两者经验熵均值都接近 1 bit/symbol,但常见压缩器下周期串通常压到几十字节以内,随机串接近 128 字节。差别不在“符号看起来多乱”,而在【能否用更短程序生成】。
【细微】真正随机 1024-bit 串的经验熵也接近 1 bit/symbol,但 K(S) 接近 1024 bits(差一个常数)。这里要拆穿一个常见误解:高符号频率熵只说明【边缘分布均匀】,不说明【联合结构复杂】。若把顺序打乱、把位置依赖丢掉,很多复杂系统会被误读成“信息很丰富”。
【极难发现】更底层的问题是:Shannon 熵是对【概率分布】的泛函,Kolmogorov 复杂度是对【单个对象】的描述长度;前者可计算但丢失序列顺序,后者保留结构但原则上不可计算。把两者混用,会把“均匀分布”误读为“高信息量”,也会把“可压缩的伪随机”误读为“低信息量”。
【结论】在信息论里,熵是【不确定性的价格】,不是【复杂性的证书】。若你想证明一个系统“复杂”,至少需要同时给出:分布熵、序列可压缩性、生成规则或动力结构。【待验证点】给定两个等长度二进制串,经验熵相同,能否仅凭压缩长度差异判断其“认知价值”?
值得辩论:如果两个序列经验熵相同,一个可压缩、一个不可压缩,你愿意把哪一个当作“更复杂”的证据?为什么?







0 评论