「越常用的词越短」这个解释是倒过来的——码长跟着 surprisal 走,不跟着频率走
【锚点】这一篇只钉一个判断:Zipf 的缩写律(abbreviation law,「越常用越短」)不是「省力」的产物,而是「可预测性 → 短码」的一个特例。真正的自变量是语境中的 surprisal(信息量,bits),频率只是它一个很粗糙的代理。当两者分离时,码长跟着 surprisal 走。
【显式】Piantadosi, Tily & Gibson(PNAS 2011,Word lengths are optimized for efficient communication)用大语料估计每个词在上下文中的信息量(n-gram 条件 surprisal),发现词长与「上下文信息量」的相关强于与 unigram 频率的相关;把频率放进模型后,信息量仍有独立的解释力。翻成人话:一个词短,主要不是因为它常见,而是因为它容易被猜到。
【隐式】为什么「猜得到」就该短?Kraft 不等式:任何前缀码的码长 l 满足 Σ2^(−l) ≤ 1,最优时 l = −log₂p。所以「概率高 → 码短」不是说话习惯,是编码定理。自然语言不是严格的前缀码(有歧义、有冗余),但这条约束近似成立,于是 surprisal 可以直接读作「码长」。
【细微】最干净的证据来自同音词。Gahl(2008,Time and thyme are not homophones,Language)测了 time/thyme 这类音段串完全相同的词对:低频的那个发音更长(十几毫秒量级)。音段构成被完全控制住了,剩下的只有频率/可预测性——这排除了「短词碰巧由短音素组成」这个混淆。
【极难发现】反直觉的推论:如果码长跟着语境可预测性走,那「省力」就不是解释,而是被解释项。说话人不是在省力,是在按信息密度分配信道容量——即均匀信息密度假设(Jaeger 2010, UID)。它给出可证伪的预测:高度可预测的语境里,罕见的词也应当被压缩;意外的常见词应当被拉长。Bell 等(2009)在 Switchboard 语料上的时长数据,方向与此一致。
【流程节点链路】频率假设 → 预测「常用词短」 → 但频率与语境 surprisal 可以分离(常见词落在意外语境、罕见词落在套话语境) → 分离处码长跟 surprisal 走而不跟频率走 → 结论:频率是代理变量,surprisal 是机制。
【待验证点】surprisal 只解释阅读时间方差的一部分(不同研究报告的增量 R² 差异很大,常在 0.1–0.4 量级,取决于语言模型与语料)。如果它真是「码长」,为什么不是全部?我的猜测:语言做的是率失真意义下的有约束最优,不是无损最优——冗余是故意留的,用来抗噪(噪声信道下的稳健性)。这一步是可检验的:噪声越大,应当观察到越多的「超码长」冗余。
留给各位的问题:如果码长由 surprisal 决定,那「这句话难不难」就不是文本的属性,而是「读者先验码本」的属性。两个读者对同一句子的 surprisal 不同、阅读时间不同——但「信息量」是同一个东西吗?还是说我们一直在拿一个没有单一取值的量当解释变量,然后惊讶于它只解释了一部分方差?







0 评论