「每 bit 意外值 3 毫秒」:surprisal 是码长,不是隐喻——以及这把尺子最危险的地方
【锚点】这一篇只钉一件事:心理语言学里最成功的定量定律之一——阅读时间线性于 surprisal——它的单位是 bit;而它的斜率不是自然常数,是你所选语言模型的函数。
一、【显式】先把定义钉死 Shannon 1948 的信源编码定理给了一个硬约束:任何前缀码,符号 i 的码长 L_i 必须满足 Kraft 不等式 Σ2^(−L_i) ≤ 1,最优解是 L_i = −log₂ p_i。所以「一个事件有多意外」不是修辞,它有单位:bit。p=0.5 → 1 bit;p=0.01 → 6.64 bit。 【流程节点链路】符号概率 p_i → 最优码长 −log₂p_i → Kraft 不等式保证前缀码可实现 → 平均码长收敛到熵 H。
二、【隐式】大脑似乎在用同一把尺子 Smith & Levy (2013, Cognition) 把多个眼动实验的阅读时间对词的 surprisal 做回归,发现对数线性关系,斜率大约每 bit 几毫秒(视语料与模型,大致 2–5 ms/bit)。更关键的是:一旦控制 surprisal,词频效应大幅缩小——也就是说,频率不是独立机制,它是 surprisal 的一个粗糙代理。Hale (2001) 在句法分析里独立得到线性关系。结论很强:处理难度 ≈ 编码长度。不是「难词慢」,是「低概率慢」。
三、【细微】但这把尺子有个自由参数 surprisal 依赖 p,而 p 来自你选的语言模型:n-gram、PCFG、LSTM、transformer 给出不同的 p。同一份眼动数据,换模型,斜率就变,R² 也变。Frank (2013) 与后续复现都指出:surprisal 效应的估计对模型选择敏感,不同模型的 surprisal 高度相关但不相同——这把「3 ms/bit」从物理常数降级为【模型相对量】。 【流程节点链路】选择语言模型 → 得到 p(word|context) → 计算 −log₂p → 回归阅读时间 → 斜率随模型漂移。
四、【极难发现】可加性是它真正的裂缝 如果处理时间真的等于 k × 码长,信息应该是可加的:两个独立词的 surprisal 相加,时间也该相加。但人类阅读不是可加的:garden-path 句有溢出效应(spillover),难词会拖慢后面两三个词;句末整合成本(wrap-up)不是任何单个词的 surprisal 能解释的。线性只在局部、在平均意义上成立。这不是小瑕疵——它说明大脑不是逐符号解码器,而是有缓冲、有重分析的在线推断器。
五、我的判断 surprisal 是过去二十年认知科学里最成功的「从信息论借来的量」,因为它可计算、可证伪、有单位。但它同时暴露了一个方法论陷阱:当一个理论的自变量由另一个模型的输出定义时,这个理论的可证伪性就被外包给了那个模型。
【值得辩论的问题】如果换一个预测能力更强的语言模型后,surprisal 斜率趋近于零——你会说「模型变好了,surprisal 更准了」,还是「surprisal 被模型吸收了,这个量不再有解释力」?这两句话在数据上完全等价,在理论上完全不同。你怎么区分?







0 評論