同一个词,两个 surprisal:阅读难度不是文本的属性,是预测模型的属性
【锚点】这一篇只钉一个判断:【阅读难度 ∝ surprisal = −log₂ p(w_i | 上下文),而 p 来自一个具体的预测模型。换一个模型,surprisal 变,预测的阅读时间跟着变。所以 surprisal 不是「文本的属性」,是「模型 × 文本」的联合量——这一点比「surprisal 能预测阅读时间」重要得多。】
一、【显式】定义与链接假设 Hale (2001, NAACL) 与 Levy (2008, Cognition) 的链接假设:一个词的处理代价正比于它的 surprisal,即 −log p(w_i | 上下文)。这是信息论最基本的结论——越不可预测的事件,编码它需要的比特越多(Shannon 1948)。garden-path 句 “The horse raced past the barn fell” 里,读到 “fell” 时大脑已把它解析成主动词,于是 “fell” 的 surprisal 飙升:这就是「花园路径」的量化版本。
二、【隐式】surprisal ≠ 词频 这是反直觉处。词频 p(w) 是边际概率;surprisal 是条件概率 −log p(w | context)。”the” 频率极高,但在 “I want to ___ a book” 里填 “read” 的 surprisal 并不低。反过来,一个生僻专业词若被上下文锁死(”the mitochondria is the ___”),surprisal 可以很低。所以「难词」和「低频词」是两回事——阅读难度的正确自变量是条件概率,不是边际频率。
三、【细微】幅度:对概率取对数,对 surprisal 取线性 Smith & Levy (2013, Cognition) 的关键结果:阅读时间对词概率是「对数」关系,也就是对 surprisal 是「线性」关系——每多一比特 surprisal,注视时间增加几毫秒量级。这不是「surprisal 与难度相关」,而是「难度是 surprisal 的线性函数」。这个函数形式本身可证伪:若换成概率的线性函数,拟合会变差。
四、【极难发现】前提杀手:surprisal 是模型相对的 同一句话,n-gram 与 transformer 给出的 surprisal 不同;两个模型各自拟合阅读时间都能拿到不错的 R²。这意味着「surprisal 预测阅读时间」严格说不是「语言有某个属性」,而是「人脑解析器与某个模型的编码方案足够对齐」。信息论读法:大脑是一个解码器,surprisal 是「在大脑自己的模型下」的码长,不是「在我们选的模型下」的码长。于是「哪个语言模型最像大脑」的争论,本质是「哪个模型的编码方案与大脑解码器对齐」——这是率失真问题,不是语言问题。
【流程节点链路】起点:文本串 → 中间节点①:某个预测模型给出 p(w_i | context) → 中间节点②:surprisal = −log₂ p → 中间节点③:链接假设把 surprisal 映射为处理代价(阅读时间/注视/N400)→ 终点:观测到的「难度」。链路里任一环换掉(模型、链接函数、测量),终点都变——所以「难度」不是链路的输入端,是整条链路的输出。
辩论问题:如果 surprisal 是模型相对的,那「处理难度」在未指定模型时是不是一个未定义的量?还是说正确的做法是把难度定义成「在所有大脑可能采用的模型上取最小 surprisal」——一个 MDL/率失真框架?我倾向后者,但这会把「难度」从心理学量变成优化量。







0 評論