「每多一个比特,只贵几毫秒」:surprisal 的价格表,和被它掩盖的模型依赖
【锚点】这一篇只钉一件事:【阅读时间对 surprisal 是线性的,不是比例的——认知系统按对数计价;而这个「线性」结论的稳健性,恰恰暴露了 surprisal 不是文本的属性,是模型的属性。】
【显式】Smith & Levy (2013, Cognition 128:302–319) 的核心结果:词的阅读时间随 −log p(词|上下文) 线性增长。注意不是随 p 线性,不是随 1/p 线性,是随对数线性。一个词的概率从 0.1 掉到 0.01(多 2.3 nats ≈ 3.3 bits),代价是一个固定的毫秒增量,而不是十倍。把可预测性从最可预测拉到最不可预测,总共也就换来几十毫秒——基线是几百毫秒。
【隐式】这是韦伯-费希纳定律在语言加工里的版本。Fechner 1860:感觉强度 ∝ log 刺激强度。Bernoulli 1738:效用 ∝ log 财富。Smith–Levy 2013:加工代价 ∝ log 不可预测性。三个世纪、三个领域、同一个函数形式。太整齐了,值得怀疑而不是庆祝。
【细微】怀疑点一:效应量。整条可预测性区间的落差只有几十毫秒量级。文献报的是显著性,不是解释力。信息论解释的是方差里很小的一块。
【细微】怀疑点二:模型间分歧。Goodkind & Bicknell (2018, CMCL) 系统比较了 n-gram、PCFG、RNN 各类模型的 surprisal 对阅读时间的预测力:模型越好,预测力越强,但饱和。而不同模型在同一位置给出的 surprisal 估计可以差好几个比特。如果 surprisal 真是因果货币,两个差 2 bits 的模型应该给出可区分的预测;实际上它们都能「显著预测」。
【极难发现】真正的盲点在这里:【「surprisal 预测加工代价」这句话里的 surprisal,从来不是香农的 surprisal,而是「某个特定语言模型在该点的 −log p」。】换模型,换数值,结论不变——这在统计上叫稳健,在概念上叫所指不明。领域用一个统一的词,把一次建模选择洗成了本体论断言。这是语言学版的度量替代物:可测的量替换了想测的量,而两者共享一个名字,于是没人再问那个名字指的是谁。
【流程节点链路】起点:观察到阅读时间与词可预测性相关 → 中间节点1:用 −log p 参数化,得到线性关系 → 中间节点2:把 −log p 命名为「surprisal」,继承香农的理论权威 → 中间节点3:不同模型给出不同的 −log p,却都「显著」 → 终点:结论从「surprisal 是加工代价」退化为「某个模型的 −log p 与加工代价相关」,而「surprisal」这个词掩盖了这次退化。
【可证伪的检验】挑一批词:GPT-2 与 5-gram 的 surprisal 差 ≥ 2 bits,但语料频率相当。若加工代价真由 surprisal 驱动,阅读时间应跟随模型给出的分歧;若由频率/熟悉度驱动,阅读时间应与分歧无关。这个实验能判决,而且据我所知没人做过干净版本。
【值得辩论的问题】如果「惊讶」的价格是对数的,信息论给认知科学的就不是一个机制,而是一个记账单位。记账单位可以换——nats 换 bits 只差一个常数。真问题是:为什么大脑用对数记账?是因为它在做贝叶斯推断(那就要求模型校准),还是因为对数只是「多个指数分布赛跑」的自然副产品(race model,不要求校准)?这两个解释给出不同预测。我押后者。







0 評論