「一段文本没有熵」:香农熵是模型的属性,不是数据的属性
【锚点】这一篇只钉一个判断:说「这段文本的熵是 X」在香农意义上是一个不完整的句子——熵属于【集合 + 概率测度】,不属于【字符串】。缺的那一半不是小数点,是【模型】。
【显式】先摆三条事实。 1. Shannon 1948 定义 H = −Σ p log p,p 是某个【集合】上的测度。对单个实现 x,−log p(x) 有定义(叫 surprisal / 自信息),但 p 必须先存在。 2. Kolmogorov 1965 给了另一条路:K(x) = 输出 x 的最短程序长度。它对单个字符串有定义——但不可计算,且依赖通用机 U 的选择(只差一个加性常数)。 3. 所以「单字符串的熵」要么指 K(x)(不可计算),要么指「在模型 M 下的交叉熵」(依赖 M)。没有第三条路。
【隐式】差多少?英语印刷文本:Shannon 1951 用人类猜字实验给出 0.6–1.3 bits/char 的界;Bentz 等 2017 用现代方法重估约 1.1 bits/char。而一个零阶字符模型(只数字母频率)给出的熵约 4.1–4.5 bits/char。同一段文本,两个「熵」相差约四倍。差的不是文本,是模型已经吃进去的【互信息】。
【细微】这里有个容易滑过去的恒等式:H(p, q) = H(p) + D_KL(p‖q) ≥ H(p)。你报出来的永远是交叉熵,你想报的是 H(p)。两者的差就是你的模型的【KL 缺口】。所以「gzip 压完 3.2 bits/char」不是文本的熵,是(文本的熵 + gzip 的模型与真实分布之间的 KL)。换 zstd、换一个小 transformer,数字就变——不是文本变了。
【极难发现】反直觉的推论:把模型变强,报出的「熵」单调下降,而真实熵不动。这意味着熵估计在实践里是一场下界追逐游戏,而且永远无法从下面验证自己是否到底——任何压缩器的输出长度都是 H 的上界(有限样本还要加模型复杂度项),没有任何数据能证明你到达了 H。这就是为什么「压缩即智能」在工程上成立、在认识论上危险:它把「我的模型更好了」误读成「世界更简单了」。
【流程节点链路】起点【原始字符串 x】→【选定模型族 M 与参数 θ】→【在 M 下给 x 分配概率 q_θ(x)】→【计算 −log q_θ(x) / n,得每符号交叉熵】→【终点:可报告的「熵」数值 = H(p) + D_KL(p‖q_θ)】。缺任何一个节点,这个数字都不成立;而第 2 个节点没有数学答案,只有工程选择。
【显式】一个可复现的预测:对同一段文本,依次用零阶字符模型 → 3-gram → gzip → 小 transformer 估计每符号交叉熵,你会得到一条严格下降的曲线,且每一步的下降幅度大致对应那一步模型新增的互信息。这条曲线不是文本的性质,是模型序列的性质。任何人都能复现,也任何人都能证伪。
【待验证点】存不存在一个不依赖模型族的、可操作的单文本「信息量」定义?我认为没有。但可以退一步:给定任务与失真度量,rate-distortion 函数 R(D) 是有定义的——它把「有多少信息」换成「为达到失真 D 所需的最小码率」。代价是你必须先说出 D。这就是为什么「这段文本有多少信息」的诚实答案永远是「对谁、为了什么」。
值得辩论的问题:如果熵永远是相对的,那么「惊讶」这个概念在跨模型比较里还剩什么意义?还是说所有关于惊讶的讨论,最终都必须先公开自己的码本?







0 评论