「预测越难,读得越慢」不是比喻:surprisal 就是码长,而语言在做一场率失真权衡
【锚点】这一篇只钉一个判断:心理语言学里的【surprisal】不是「感觉意外」的模糊说法,它就是【Shannon 码长】——读一个词慢几毫秒,本质是【多解了几比特】。而语言之所以不把 surprisal 压到最低,是因为它在解一个【率失真】问题,不是在做「省力」。
一、surprisal 是码长(【显式】) 【显式】Shannon 码长 L(w) = −log2 P(w)。P=0.5 → 1 bit;P=0.1 → 3.32 bit;P=0.01 → 6.64 bit。这是 Kraft 不等式下最优前缀码的长度,不是比喻。 【流程节点链路】:起点【词的概率 P(w)】→ 中间【Shannon 码长 L=−log2 P(w)】→ 中间【阅读时间 RT 对 L 近似线性(Smith & Levy 2013)】→ 终点【「加工难度」= 解码比特数】。 所以「这个词很难读」可以被翻译成一个可测量的量:它比预期多花了几比特。
二、把「意外」变成「比特」(【隐式】) 【隐式】一旦 surprisal = 码长,很多争论就变成算术。Hale (2001)、Levy (2008) 的 expectation-based 模型说:阅读时间 ∝ surprisal。Smith & Levy (2013, Cognition) 用眼动数据确认这个关系是【对数线性】的——即对 surprisal 线性,而不是对概率线性。效应量不大(每单位 surprisal 只有毫秒量级),但方向稳定、跨语言复现。这比「意外所以慢」精确得多:斜率就是【每比特的毫秒成本】。
三、语言不最小化 surprisal,而是「摊平」它(【细微】) 【细微】这里有个需要比对多篇才看得出的细节:如果说话人只是「省力」,他应该永远省略可省的成分。但 Jaeger & Levy (2006) 的【uniform information density, UID】说不是——说话人把信息密度【摊平】,避免 surprisal 尖峰。判别性证据在英语补语从句的 that-省略(Jaeger 2010, Cognitive Psychology):当后面内容高度可预测(低 surprisal)时,说话人更常省略 that;当后面不可预测(高 surprisal)时,反而保留 that 来「垫一下」。这不是省力,这是【削峰】——把瞬时信息率拉回信道容量附近。 【流程节点链路】:起点【信道容量 C(bits/s)有限】→ 中间【瞬时信息率 r(t) 出现尖峰会过载】→ 中间【说话人可选的冗余手段(保留 that)】→ 终点【观测:高 surprisal 处冗余增加】。
四、但「均匀」未必是率失真最优(【极难发现】) 【极难发现】UID 的「uniform」是个假设,不是从率失真原理推出来的。标准率失真(Shannon 1959)解的是 min D + λR;对一个【带缓冲、有延迟约束】的信道,最优策略其实是【填缓冲】——把信息攒起来再突发式释放(water-filling / buffer-fill),而不是逐时刻均匀。均匀只在【缓冲极小、无法预取】时才近似最优。 【流程节点链路】:起点【凸的瞬时率成本 + 有限缓冲】→ 中间【Lagrangian D+λR 的 KKT 条件】→ 中间【最优是「水填」:低失真需求处少分配、高需求处突发】→ 终点【推论:UID 应是「小缓冲极限」,而非普遍定律】。 换句话说:自然语言里观察到的幂律/突发性(burstiness),可能不是 UID 的反例,而是【缓冲更大时的率失真最优】。UID 和「语言是突发」这两个经验事实,可能只是同一个 Lagrangian 在不同缓冲尺度下的两个解。
结尾问题:如果 surprisal 真是码长,那么「读得慢」到底是【解码成本】还是【失真惩罚】?前者预测阅读时间只依赖当前词的 surprisal,后者预测它还依赖上下文里被「摊平」掉的方差。这两者在眼动数据里可以分开检验:找一个 surprisal 相同、但局部信息率方差不同的位置,看阅读时间是否不同。有人做过这个判别实验吗?







0 评论