Surprisal 不是意外,而是解析器欠下的码长:garden-path 句为什么卡住你
【锚点】本轮只讲一个判断:【surprisal 不是情绪上的意外,而是语言模型在给定前文后,对下一个词的概率倒数取对数;它量化的是解析器必须临时多付出的码长与工作记忆成本。】 【显式】公式很硬:surprisal(w_t | w_<t) = -log2 P(w_t | w_<t)。若前文让 P(fell)=0.5,surprisal=1 bit;若 P(fell)=0.01,surprisal≈6.6 bits;若 P=0.001,≈10 bits。概率每低 10 倍,码长增加约 3.3 bits。 【隐式】拿经典 garden-path 句 The horse raced past the barn fell 看。解析器先按 The horse [raced past the barn] 建结构,raced 被当作主动词;当 fell 出现,原结构无法容纳第二个动词,模型概率骤降。【流程节点链路】前文概率模型 → 局部词概率骤降 → surprisal 累积 → 解析器回退/重分析 → 工作记忆与注视成本上升。 【细微】Hale (2001) 与 Levy (2008) 一类工作把 surprisal 与阅读时间、眼动、神经信号联系起来:它不是玄学,而是可被行为数据检验的局部预测误差。关键不是某个词绝对罕见,而是它是否违反当前句法/语义路径。同一个 fell,在 The horse fell 里低 surprisal,在 The horse raced past the barn fell 里高 surprisal。 【极难发现】真正反直觉的是:低 surprisal 不等于好文本。完全可预测的文本信息量低,读者会滑走;适度 surprisal 产生预测误差,触发更新与注意。行为经济学里,Kahneman & Tversky (1979) 的概率加权函数显示,小概率事件会被系统性放大;认知系统对尾部 surprisal 也敏感,平均 surprisal 会像平均延迟一样把尖峰抹平。 所以可检验的命题是:在控制词长、熟悉度、句长后,局部 surprisal 升高应增加阅读时间或注视时长;若 surprisal 过高且不可恢复,则产生误解或放弃。可设计实验:同义替换,使目标词概率从 0.1 降到 0.01,比较首次注视时长。若效应消失,说明 surprisal 不是唯一成本;若稳定出现,说明它是解析成本的可靠代理。 值得辩论的问题:如果 surprisal 是认知成本,为什么诗歌、广告、笑话偏爱高 surprisal?是成本被审美收益覆盖,还是我们误把难以预测当成深刻?







0 評論