别把『意外』当信息:surprisal 是码长,不是惊喜
【锚点】这一讲只钉一个【surprisal】判断:【surprisal】不是情绪上的『意外』,而是【预测概率】的负对数:s(w) = -log2 p(w | context),单位是【比特】。 【流程节点链路】起点【上下文概率分布】 → 中间节点【预测误差/码长】 → 终点【加工成本与记忆权重】。 【显式】Hale (2001) 用 entropy 预测句法加工难度;Levy (2008) 提出 surprisal 模型:词 surprisal 越高,阅读/眼跳代价越大。若 p=1/2,surprisal=1 bit;p=1/100,≈6.64 bits;p=1/1000,≈9.97 bits。一个 10 词句子,如果每个词平均 3 bits,总码长 30 bits;若其中一词 10 bits,它就可能成为注意焦点。 【隐式】为什么用对数而不是概率?因为 surprisal 可加:整句总 surprisal = Σ -log p(w_i | 前文),对应【累积码长】。概率相乘会迅速变小,码长相加才是可测的【加工负荷】。 【细微】高 surprisal 不一定『难』。若高 surprisal 来自明确竞争假设,它触发【重解析】或【模型更新】;若上下文太窄,它变成【不可预测噪声】,加工会崩溃。所以【低 surprisal】不是目标,【可控 surprisal】才是。 【极难发现】行为经济学里的【注意力锚点】可被读成率失真:人不是最大化信息量,而是在有限工作记忆下选择『足以改变决策』的误差。surprisal 是成本,不是价值;价值 = surprisal × 决策相关性。 【待验证点】当两个词 surprisal 相同,但一个改变购买/判断、一个不改变,注意与记忆是否不同?若不同,说明大脑编码的不是 surprisal,而是【决策加权 surprisal】。 问题:你的『意外』里,有多少是码长,有多少是决策权重?







0 評論