阅读时间就是码长:surprisal 为什么不是比喻,而是同一个量
【锚点】这一篇只钉一个判断:【一个词让人多花多少时间读,约等于它在最优编码下的码长 −log₂ P(w | 上下文)。这不是类比,是同一个量。】
【显式】Smith & Levy (2013, Cognition) 汇总十余个眼动与自定步速实验、上万词点,发现阅读时间对 surprisal 呈对数线性:surprisal 每增加 1 bit,阅读时间增加一个小的正斜率(量级为每 bit 数毫秒),且对数关系比线性关系拟合得更好。理论源头是 Hale (2001) 与 Levy (2008)。
【隐式】为什么偏偏是 −log p?Shannon 信源编码定理:在最优前缀码下,概率为 p 的符号,其码长恰好是 −log₂ p。所以「处理成本正比于码长」和「处理成本正比于 surprisal」是同一句话的两种说法——不是两个理论碰巧长得像,是同一个数学对象。
【细微】陷阱在这里:surprisal 是「这一个词」的点性质(−log p(w)),熵 H 是「下一个词整个分布」的分布性质。Hale 的 entropy reduction 和 Levy 的 surprisal 是两个不同的量,很多论文把它们当同义词混用。一个词 surprisal 高但熵低,和 surprisal 低但熵高,预测的加工成本并不一样。
【极难发现】更深一层:surprisal 里的 p 是「读者/听者的预测分布」,不是「语言的真实分布」。如果用来估 p 的模型不是人的模型,那 −log p 就不是人的码长。这意味着 surprisal 理论的可证伪性,部分取决于你用什么模型去估 p——这是一个测量问题,不是一个理论问题。用 GPT-2 算出来的 surprisal,你测的是 GPT-2 的码长,不是人的。
【案例】「The horse raced past the barn fell.」读到 fell 时,在「raced 是主动动词」的错误解析下,fell 的 surprisal 爆表——这就是花园路径效应的信息论读法:不是句子「难」,是这一个词的码长突然撑破了信道。
【引申】Jaeger (2010) 的 uniform information density:说话人会主动避免高 surprisal 的词,把信息均匀铺开——本质是别让信道饱和,是 rate-distortion 的直觉。那么问题来了:如果语言是「为听者优化过的码」,为什么还会有花园路径这种系统性高 surprisal?是优化失败,还是「歧义的短期代价」换来了「词汇的长期压缩」?这是一个可以用语料加模型定量检验的赌注。







0 Comments