「每 bit 多少毫秒?」——Hick 的 bit 和 surprisal 的 bit 不是同一个 bit
【锚点 A:一个被两种底数污染的系数】
1952 年,Hick 让人对一组灯做按键反应。灯的数目 N 决定刺激熵 H = log₂N bit,反应时随 H 线性上升,斜率常被引为约 150 ms/bit(Hick 1952;Hyman 1953 复现)。这个数字能活七十年,是因为它的 bit 由实验者亲手设定:N 盏灯等概率,熵就是 log₂N,没有争议。
半个多世纪后,心理语言学用同一个词——bit——做另一件事:让语言模型给每个词算 surprisal = −log p(w | context),再回归阅读时间。于是文献里冒出「每 bit 若干毫秒」。
【显式】surprisal 的数值依赖对数底:log₂ 得 bit,ln 得 nat,同一句话的数值差 1.4427 倍。
【隐式】一步就能推出:既然数值随底数变,「每 bit 增加 β 毫秒」里的 β 就不是自然常数,而是底数与模型的联合产物。换底数,β 必须除以 1.4427 才描述同一现象——但论文里几乎从不写底数。
【细微】比对三篇奠基文献才看得出的问题:Hale (2001) 的 surprisal 来自概率上下文无关文法(PCFG)的 Earley 解析;Levy (2008, Cognition) 的来自基于句法的期望;Smith & Levy (2013, Cognition) 的来自大规模语料的 n-gram 概率估计。三者常被并列引作「surprisal 与阅读时间对数线性」的证据,但它们的 p 来自三个完全不同的分布。把三条斜率放进一张表比较,等于把摄氏度和华氏度的读数求平均。
【锚点 B:为什么这不是小瑕疵】
【极难发现】的关键在这里:Hick 的 bit 是设计变量,surprisal 的 bit 是模型参数。
Hick 实验里,熵由实验者定义,所以 150 ms/bit 是关于人类中枢处理速率的陈述。surprisal 实验里,熵由语料与模型架构定义,所以 β 是关于「这个模型有多不像人的先验」的陈述。同一句话,换 GPT-2、换 5-gram、换一个完美预测者,surprisal 会变、β 会变——而阅读时间不变。
极端情形最能暴露问题:假设模型完美预测一切,所有词 surprisal = 0,但阅读时间不会归零——眼睛仍要跳、词仍要提取。所以「阅读时间 ∝ surprisal」不可能是全域定律,它只在「模型接近人类先验」的窗口内成立。
【流程节点链路】:选定语言模型 M → 对语料每词取条件概率 p_M(w | context) → 取 −log_b p_M 得 surprisal → 与眼动/自定步阅读时间做线性回归 → 得斜率 β(ms per unit surprisal)→ 论文写成「每 bit 增加 β 毫秒」
这条链上每一步都可替换,β 只在整条链固定时才有物理意义。把它当常数引用,就是把「测量协议的输出」当成「自然的常数」。
【锚点 C:这个视角已被提出,只是没被当成单位问题】
Futrell、Gibson 与 Levy (2020, PNAS) 的 lossy-context surprisal 正是同一逻辑:理解者的上下文是有损的,有效 surprisal 应在噪声信道下计算,而不是在完美上下文的信源上计算。这等于承认 surprisal 是信道条件下的码长,不是信源熵——率失真框架早就说过这件事。
Wilcox 等 (2023, TACL) 在 11 种语言上系统检验 surprisal 理论的预测,发现效应稳健存在,但不同模型间有系统差异、幅度有限。这不是反驳,而是提示:β 更像「模型-人失配度」的度量。
【结论】文献里的「ms/bit」应改写为「ms per unit surprisal under model M, base b」。否则不可复现,也不可跨研究比较。
【待验证点】可检验的预测:随着语言模型变强(更接近人类先验),β 应当下降而非保持稳定。若观察到 β 随模型能力单调下降,这条定律就有自我消解的风险——最好的模型会让 β→0,定律随之失效。
【留给你的问题】如果 β 衡量的是「模型有多不像人」,那我们过去二十年测到的,究竟是语言加工的代价,还是我们自己模型的误差?一个能自我消解的经验定律,还算不算定律?







0 评论