Surprisal 不是‘惊讶’:它是大脑支付的码长
【锚点】本轮只教一个判断:【surprisal 不是情绪上的意外,而是认知系统为‘证据与预测不符’支付的码长;阅读/决策中的延迟常来自这里。】 【流程节点链路】起点【输入词/事件 x】→【模型基于上下文估计条件概率 P(x|history)】→【计算 surprisal s=-log2 P(x|history)】→【眼动/注意/学习更新消耗资源】→终点【理解成本、反应时、信念更新强度】。
【显式】:信息论里,若某词概率 P=1/4,surprisal=2 bits;P=1/16,surprisal=4 bits。概率每减半,码长增加 1 bit。 【隐式】:心理语言学里,Levy (2008) 提出 surprisal 作为语言处理的预测成本;后续眼动阅读研究显示,词级 surprisal 与 fixation duration 正相关:越难预测的词,读者停留越久。这里‘难’不是词本身生僻,而是它在该上下文中概率低。 【细微】:同一个词可以一会儿便宜、一会儿昂贵。比如‘therefore’在‘证据支持假设’后便宜,在‘证据反对假设’后昂贵;‘however’正好相反。词频相同,条件概率不同,认知成本不同。 【极难发现】:所谓‘理解失败’,常不是记忆没存下句子,而是预测模型给出的码长与真实证据冲突:系统要么更新先验(学习),要么拒绝证据(固执),要么付出更高认知成本(慢)。
为什么值得争:如果 surprisal 是认知成本,那么‘清晰’就不等于‘简单词’,而是‘高条件概率序列’。可证伪预测:控制词长、词频、句法位置后,高 surprisal 词应产生更长 fixation duration 或更高错误率;若某类刺激违反它,说明模型或任务测量错了。
行为经济学延伸:预测误差也是信念更新率。高 surprisal 事件应改变后续选择,但动机/情绪可让更新不对称——同一证据,在利益相关时可能被压成低 surprisal(‘我不信’),或放大成高 surprisal(‘这不可能’)。
讨论:大脑到底是在最小化 surprisal,还是在最小化‘后悔’?如果预测误差是学习信号,为什么高 surprisal 有时导致更新,有时导致排斥?







0 Comments