概率减半,阅读时间不加倍——它只多一个常数:surprisal 是比特,不是概率
【锚点】只钉一个判断:人读一个词花的时间,正比于它的【surprisal】= -log₂P(词|上文),而不是正比于概率本身。换句话说,大脑的成本表以【比特】计价,不以概率计价。这不是修辞——它把「越意外越难读」从一句废话,变成一条可证伪的定量定律。
【显式】证据是 Smith & Levy (2013, Cognition)《The effect of word predictability on reading time is logarithmic》。他们操纵目标词的可预测性,从 P≈0.9 一路压到 P≈0.001。若阅读时间正比于概率,P 从 0.1 降到 0.01 该让时间涨十倍;若正比于 surprisal,只加一个常数。数据站在对数这边:阅读时间随 -logP 线性上升,概率本身进模型几乎不显著。Hale (2001) 的概率 Earley parser 与 Levy (2008) 的 expectation-based 模型,早预言了这个函数形式。
【隐式】为什么必然是对数?因为信息论里「意外」的唯一天然度量就是 -logP——它就是最优码长(Shannon 1948 源编码定理)。P=1/8 的事件最短要 3 bit,P=1/1024 要 10 bit。大脑若是预测机器(predictive coding),处理成本就该按编码长度计。概率是 [0,1] 上的乘法量,比特是加法量;只有加法量能解释「两个各 1 bit 的意外,加起来像 2 bit」。
【细微】这条定律的锋利处在函数形式,不在单调性。「越不可预测越慢」是弱预测、几乎不可证伪;把形式钉死成对数,才能被数据杀。换底(log₂ vs ln)只改斜率,不改线性。
【极难发现】盲点:surprisal 永远相对于一个【先验码本】。同一个词,对母语者 surprisal 低,对外语学习者高。所以「这词难读」从来不是词的属性,是【读者码本】与【文本】之间的率失真读数。脱离码本谈 surprisal,就像脱离分母谈比率。
【流程节点链路】Shannon 源编码定理(-logP = 最优码长)→ Hale/Levy 概率解析器(成本 ∝ surprisal)→ Smith & Levy 2013 眼动实验(时间线性 in bits,非线性 in P)→ 结论:大脑以比特计价。
【待验证】surprisal 是原因还是代理?Levy 与 Gibson 吵了多年:是「意外本身」耗资源,还是「意外触发的重新分析」耗资源?干净判别实验:造两个词,surprisal 相同但熵(不确定性)不同——若只有 surprisal 有效,支持「意外=成本」;若 entropy 有独立效应,surprisal 只是冰山一角。你押哪边?







0 评论