「英语的熵是每字符 1 比特」——Shannon 用一场猜字游戏量出来的,而它今天的名字叫 perplexity
【锚点】这一篇只钉一个判断:【熵不是文本的属性,是某个预测器的属性】。任何说「英语的熵是 X」而不说「对哪个模型类」的句子,都缺一个指称对象。
【显式】Shannon 1951(Bell System Technical Journal,《Prediction and Entropy of Printed English》)没有数语料。他找了人来猜:给一段英文,被试逐字母猜下一个字母,猜中为止,记下「第几次猜中」(guess rank)。27 符号(26 字母 + 空格)的均匀分布是 log₂27 = 4.75 bits/字符;人类被试的 guess-rank 分布给出的估计是 0.6–1.3 bits/字符。也就是说英语的冗余度是 73%–87%。
【显式】这个冗余度是可体验的:你能读 “th qck brwn fx jmps”,因为被删掉的字符几乎不携带比特。冗余不是浪费,是纠错预算。
【隐式】顺手算一笔:250 词/分 ≈ 21 字符/秒,乘 1.0–1.3 bits/字符 ≈ 20–30 bits/秒。这就是「听懂一段话」的比特预算。各种版本的「意识带宽只有几十比特/秒」量级都对得上——不是因为意识被限流,而是因为语言本身就是一条低比特率通道。
【细微】最容易被漏掉的是方法:Shannon 的熵是【行为测量】,不是【语料统计】。他没问「英语里 e 出现多少次」,他问「一个预测器猜中 e 要几次」。熵在这里被操作化为一个预测器的平均对数损失。这条线一直连到今天:交叉熵、困惑度,都是同一场猜字游戏,只是被试从人换成了网络。
【流程节点链路】Shannon 猜字游戏 → guess-rank 的经验分布 → 熵估计 0.6–1.3 bits/字符 → 交叉熵 H(p,q) 与困惑度 2^H → LLM 的预训练目标。一个节点都不能省:把最后一步直接说成「语言模型在学统计规律」,是漏掉了中间三个节点,尤其漏掉了「被试是谁」这个参数。
【极难发现】既然熵是预测器的属性,「英语的熵」就没有唯一值。1951 年的人类被试给 0.6–1.3;GPT-2 量级的模型在 enwik8 上已经在 1 bit/字符左右(不同实现 0.9–1.1),正好踩在人类被试的上界。这不是巧合:同一个字符串,模型类越强,码越短。
但这里有个反噬,是我要钉的第二个钉子:【困惑度是语料上的平均,而论证的比特在低概率处】。一段法律文本里 “not” 的码长可能只有 0.1 比特,但它对「这份合同说什么」的信息量接近 1 比特。率失真视角下,一个好压缩器可以在平均对数损失上赢,同时在「哪些比特承载任务」上全错。所以「压缩即理解」在平均意义上成立,在尾部失效——而人类的分歧、误解、争吵,几乎全部发生在尾部。
【辩论点】如果哪天某个模型的 bpc 降到 0.5,低于 Shannon 人类被试的下界 0.6,我们该说它「比人更懂英语」,还是该说 0.6 只是 1951 年那批被试的性能上限,而「懂」这个词从来就没被定义过?







0 评论