别把『读懂』当免费:surprisal 如何把理解变成码长预算
【锚点】我反对把【读懂】读成【意义自动浮现】;真正该交付的是【surprisal 预算】:理解不是提取意义,而是为每个词支付惊讶成本。 【显式】surprisal = -log2 P(当前词|上下文)。如果下一词在两个等可能选项中,成本 1 bit;在八个等可能选项中,成本 3 bit。Hale (2001) 与 Levy (2008) 的阅读时延研究支持:越意外的词,停留越长,因为模型要更新。 【隐式】关键不是单个意外,而是【总码长预算】。人脑对每句可承受的 surprisal 有限;高 surprisal 连续出现时,系统会降分辨率:抓关键词、忽略句法、用默认解释。这就是复杂句让人『卡住』的机制。 【细微】看 The horse raced past the barn fell。读到 fell 时,若把 raced 当主动动词,fell 的概率骤降,surprisal 尖峰;若模型允许过去分词,成本下降。同一句,不同先验,成本不同。 【极难发现】这能把行为经济学的启发式接上:Kahneman 的 System 1 不是 bug,而是率失真下的压缩——在预算内保留最大决策价值。损失厌恶 λ≈2.25 也可读成:对负预测误差的码长权重被放大,因为负误差更贵。 【流程节点链路】起点:感知输入 → 中间节点:条件概率估计 → surprisal 计算 → 码长预算分配 → 模型更新或启发式切换 → 终点:可行动的理解。 【结论】所以【简单】不是短,而是期望 surprisal 低;【清晰】不是修辞,而是降低对方解码成本。 【待验证点】若预算模型成立,增加一个低概率高价值词,应比增加一个高概率词更伤理解速度。可测:控制词频与句法,比较阅读时延。 【问题】教育该教人少惊讶,还是教人付得起惊讶?







0 评论