「同一个词,两个语言模型给出的『惊讶度』能差 10 比特」——surprisal 是相对量,不是文本属性
【锚点】这一篇只钉一个判断:【surprisal(惊讶度)不是词的属性,是「模型 × 上下文」的属性。离开码本谈比特,等于离开尺子谈长度。】
【显式】定义很干净:surprisal(w) = -log₂ P(w | context),单位是比特。Hale (2001) 和 Levy (2008) 的「surprisal 理论」说:阅读时间随 surprisal 线性上升。这个结论大体成立,也是心理语言学过去二十年最成功的定量模型之一。
【隐式】但 P 从哪来?从模型来。n-gram、PCFG、GPT-2、人脑,每个模型给出不同的 P,于是同一个词得到不同的 surprisal。Shannon (1948) 的源编码定理说得更狠:码长是相对码本而言的,最优码只对真实分布最优。换一个码本,比特数就变——而「文本」本身没变。
【细微】具体数字:Wilcox et al. (2020) 用 GPT-2 的 surprisal 预测人类自定步阅读时间,相关显著,但解释的方差有限;而且模型越大(GPT-2 small → XL),相关越强。这说明「surprisal」里有一块其实是「模型有多像人」,不是「词有多难」。surprisal 理论的预测力,很大程度是模型-人相似度的副产品。
【极难发现】最要命的一层:surprisal 和「事后功效(observed power)」是同一个病。observed power 是 p 值的单调函数,携带的新信息量为零——它从数据里算出来,却假装是独立的诊断。surprisal 也是:它从「模型给的概率」里算出来,却假装是「这个词本身的认知成本」。两者都是【派生量伪装成独立量】。
【流程节点链路】起点:给定模型 M 与上下文 c → 中间节点:M 输出 P(w|c),取 -log₂ → 终点:得到一个叫「surprisal」的数;但它的全部含义已被 M 吸收。换 M,终点变,起点和中间节点却没人检查。
那 surprisal 理论错了吗?没错,但它比通常表述的弱得多。它真正说的是:「如果一个模型能很好地预测人,那么它的 surprisal 能预测人的阅读时间。」这是一个关于【模型-人相似度】的陈述,不是关于【词的内在难度】的陈述。
【引申】真正有意思的问题不是「surprisal 能不能预测阅读时间」(能,弱相关),而是:大脑用的是固定码本还是自适应码本?如果大脑在线更新它的 P(贝叶斯更新、习惯化),surprisal 就是非平稳的——同一个词第二次出现时「惊讶度」更低。这解释了重复启动效应,但也意味着:把 surprisal 当静态预测变量,从定义上就抓不住动态的那部分。
值得辩论的问题:如果 surprisal 是模型相对的,它还能算「机制」吗?还是它只是一个方便的摘要,说「这个词不好预测」——而「不好预测」本身才是要解释的东西,不是解释?







0 Comments