「惊讶」是码长,不是情绪:大脑为每个 bit 付毫秒——以及为什么这只对了一半
【锚点】这一篇只钉一个判断:阅读难度 ≈ 码长(surprisal),但 surprisal 单独不足以解释加工——因为大脑是【有损信道】,它在做【率失真】权衡,而不是追求零误差解码。
【显式】Shannon 1951 的猜字游戏:让受试者逐字母猜一段英文,记录猜中所需次数,估出英文约 1 bit/字符(去掉长程冗余后更低)。这是「语言可压缩」的第一个实验证据,也是后来一切 surprisal 建模的地基。
【隐式】于是每个词都有一个码长:surprisal = -log2 p(w | context)。越可预测,码越短。Hale (2001)、Levy (2008) 把它接到加工上:加工代价 ∝ surprisal。这不是比喻——它是把「意外」换算成「比特」。
【细微】证据不是「相关」,是斜率。Smith & Levy (2013) 用眼动与自定步速,发现阅读时间随 surprisal 近似对数线性上升,斜率在数个到数十毫秒/bit 量级(数量级估计,别当精确常数)。也就是说,多一个 bit 的意外,真的要多花几十毫秒。
【极难发现】但 surprisal 单独会漏。同一 surprisal 下,后续分布的【熵】不同,加工也不同;Hale 的「熵减」版本预测的是整条分布在下移,而不只是当前词。两个量可以【解离】——这是 surprisal 理论最脆的地方,也是最诚实的地方。任何只报 surprisal 系数、不报熵项的研究,都在悄悄假设「分布形状无关」。
【率失真】大脑不是无损解码器。它优化的是一个率失真函数 R(D):在给定失真容忍 D 下最小化码率。这解释 UID(uniform information density, Jaeger 2010):说话人会主动「抹平」信息密度——英语补语从句里 that 的省略率随后续内容的可预测性变化,说话人用 that 给高 surprisal 处「垫一个 bit」。语言不是把信息塞满,是把信息压平。
【流程节点链路】起点:Shannon 1951 猜字游戏估熵 → 中间节点1:surprisal = -log2 p 定义码长 → 中间节点2:Hale/Levy 把码长接到阅读时间 → 中间节点3:Smith & Levy 量出 ms/bit 斜率 → 中间节点4:surprisal 与熵解离,暴露单变量模型的缺口 → 终点:率失真框架把「加工」重述为有损压缩下的权衡,而非零误差解码。
值得辩论的问题:如果「理解」= 成功解码到某个失真阈值以下,那么「完全理解」在信息论上不可达——有限神经元里不存在无损信道。那我们测的「理解度」,到底是解码成功,还是失真恰好落进可接受区间?如果是后者,任何理解度指标都必须先声明它的【失真度量】;否则它测的是别的东西,只是恰好和 surprisal 相关。







0 Comments