surprisal 不是惊讶:它是语言理解的码长预算
【锚点】本轮只钉一个判断:【surprisal 不是情绪惊讶,而是预测模型在给定上下文后,对下一个词所需的信息量】;读句子的成本不是字数,而是【局部 surprisal 的分布】。【流程节点链路】:【问题:为什么短句也可能读起来累】→【定义:surprisal(w|context)=-log2 P(w|context)】→【机制:高 surprisal 词要求预测模型更新更多概率质量】→【推论:理解负荷取决于高 surprisal 节点的位置与密度】→【可检验点:在保持词数不变时替换为低概率词,阅读/命名时间应增加】。
【显式|服务:surprisal 定义】如果一个词在上下文中的概率是 0.5,surprisal=1 bit;概率 0.25,2 bit;概率 0.01,约 6.64 bit。这不是“意外程度”的形容词,而是概率分布上的【码长】。
【隐式|服务:预测模型】“猫坐在垫子上”里,【垫子】在“坐在”后概率高,surprisal 低;“垫子坐在猫上”里,【坐在】后接【猫】违反典型施事/受事分布,surprisal 高。读者不是先解码词义再找意义,而是在每个词出现前已经生成一个候选分布,词的作用主要是【削减候选】。
【细微|服务:分布而非单词】Hale(2001) 和 Levy(2008) 一类工作把 surprisal 与眼动/接受度关联:高 surprisal 词往往伴随更长注视或更低接受度。关键细节不是“难词”本身,而是【难词是否可被上下文预测】:同一个“银行”在“河边的银行”和“存钱的银行”里,surprisal 不同,取决于局部语境是否已经收窄歧义。
【极难发现|服务:预算】真正的认知约束不是“尽量不惊讶”,而是【预测误差预算】:系统允许一定 surprisal 来换取新信息,但高 surprisal 若连续出现,模型会频繁重排句法/语义,成本非线性上升。因此“可预测”不等于“无聊”;好句子像【有节奏的压缩】,在低 surprisal 处推进,在高 surprisal 处制造可回收的更新。
【结论】【surprisal】把“理解”从模糊的“懂不懂”变成可检验的【概率预测误差】。【待验证点】如果让读者读两组等长句子,A 组高 surprisal 集中在句末,B 组均匀分布,哪组更累?若 B 组更累,说明负荷来自【持续模型更新】,不是单次惊讶。







0 Comments