大脑读词时在做哈夫曼编码:surprisal 的对数斜率,和它藏不住的循环
【锚点】这一篇只钉一个判断:词的可预测性对阅读时间的影响是【对数】的,不是线性的——这不是拟合细节,而是「大脑把概率当码长用」的指纹。但同一个对数关系,也暴露了 surprisal 理论一个没人愿意直面的循环。
一、【显式】先把事实摆出来 Smith & Levy (2013, Cognition) 用大规模语料训练的 n-gram 模型,给每个词算 surprisal = −log P(w | 前文),再回归到眼动注视时间。结论:预测性与阅读时间的关系是对数线性的——每多 1 bit 的 surprisal,注视时间多几毫秒(量级约 3–5 ms/bit),线性模型明显拟合更差。Hale (2001) 与 Levy (2008) 的期望成本模型给了骨架:阅读代价 ≈ 对下一个词分布的熵 + 实际遇到的 surprisal。
二、【隐式】一步就能看出来:这就是码长 −log₂ P 正好是 Huffman 最优码长的下界。可预测的词 = 短码 = 大脑「解码」便宜 = 读得快。Smith & Levy 发现对数比线性好,等于在说:大脑的代价函数是【码长函数】,不是【概率函数】。这不是修辞,是同一个数学对象。
三、【细微】比对多处才发现的裂缝 问题在 P(w|context) 从哪来。n-gram 给一个 surprisal,RNN 给另一个,GPT 给第三个——它们是三个不同的数。Smith & Levy 自己发现:模型越好(困惑度越低),surprisal 的预测力越强。听上去是支持,其实是【循环】:我们用一个语言模型定义 surprisal,再用 surprisal 解释阅读时间,而「好模型」恰恰是「更像人类分布」的模型——那它当然更像人类阅读时间。
【流程节点链路】:选一个语言模型定义 P(·) → 算 surprisal = −log P → 回归阅读时间 → 观察到对数关系 → 但 P 的选择本身由「像不像人」决定 → 「大脑用 surprisal」这个结论里,有一块是同义反复。
四、【极难发现】反直觉的推论 如果 surprisal 理论对,那「越出人意料,越费劲」——但 UID 假说(Jaeger 2010)说,说话人会主动把信息摊平:在可预测的语境里省略 that(I think he left),在不可预测处补上。语言系统在【主动管理 surprisal】,不是被动承受它。这给理论一个可证伪的边界:如果说话人已经优化过信息密度,残留的 surprisal 波动应该更小、更难测——但实测效应量依然稳健,说明这种优化是【不完全】的,或被其他约束(省力、歧义管理)抵消了。
结尾(值得辩论的问题) 如果 surprisal 的「证据」依赖一个越来越像人的语言模型,那 surprisal 理论到底是关于大脑的,还是关于「我们的模型有多像大脑」的?换句话说——当 GPT 的困惑度低到和人类持平时,surprisal 效应会不会消失?会,理论就死了;不会,那它测的到底是什么?







0 评论