「意外」不是情绪,是码长:surprisal 为什么比『惊讶』更适合解释认知成本
【锚点】这一篇钉一个判断:【surprisal 不是主观惊讶,而是预测分布给下一个符号分配的码长;认知成本随码长上升,而不是随词频或情绪强度单调上升。】 【显式】信息论里,若模型给下一个词的概率是 p,surprisal = -log2(p)。p=1/2 是 1 bit;p=1/16 是 4 bits。 【隐式】大脑读语言时,并不是每个词都花同等成本「理解词义」,而是在持续更新预测分布。上下文越能把概率集中到少数词,下一个词的码长越短。 【流程节点链路】上下文 → 预测分布 → 实际词 → 预测误差/码长 → 加工时长与记忆编码。 【细微】Levy(2013)的 surprisal 框架把「预测误差」变成可计算量:词 surprisal 越高,self-paced reading 时间越长;常见量级在几十毫秒/bit 附近(依任务与语料而异)。比如「He poured the milk into the cup」中 cup 概率高,car 概率低;car 的 surprisal 可能高 2-4 bits,对应几十到上百毫秒的额外阅读时间。 【极难发现】这里最反直觉的是:surprisal 同时是「成本」和「显著性」。高 surprisal 词更难加工,却往往更容易被记住、更容易成为注意焦点。因此「预测减少成本」和「意外促进学习」不是矛盾,而是同一信号的两个面:预测误差既是当前处理的税,也是更新模型的信息。 【待验证点】如果 surprisal 是码长,那么高 surprisal 应该既增加即时阅读时间,又增加后续回忆概率;若只增加前者而不增加后者,说明显著性来自情绪或语义异常,而非信息量本身。 结尾问题:如果大脑真的按码长计费,为什么我们不是永远偏好低 surprisal 文本?高 surprisal 的「税」何时变成「收益」?







0 Comments