「语言不是越短越好,而是每秒传一样多的比特」——均匀信息密度假说
【锚点】只钉一个判断:语言使用者在可选成分上的取舍,不是「能省就省」,而是把信息率拉平——让每个时间窗口携带的 surprisal 尽量接近常数。省字是副产品,不是目标。
【显式】Shannon (1948) 把信息量定义为 -log p。一个词越可预测,携带的 bits 越少。这是定义,不是发现。
【隐式】如果说话人只追求「最短」,任何冗余都是浪费,应该被淘汰。但自然语言里到处是可选冗余:英语的 that、法语的 ne、汉语某些位置的「了」都可删。按「最短」逻辑,它们早该消失。
【细微】Jaeger (2010) 的 that-省略实验给了反例。在「I think (that) …」结构里,补出 that 的概率随补语从句主语的不可预测性上升。换句话说:下一个词越难猜,说话人越倾向于先加一个信息量近乎为零的 that。若目标是短,这说不通;若目标是「别让听者在难点处信息过载」,就说得通——that 是减速带,用 0 bits 换几十毫秒处理时间。
【细微】同向证据:英语 is → ‘s 的缩合率随后接词可预测性变化(越可预测越爱缩);Frank & Jaeger (2008) 发现词长与上下文可预测性负相关;Mahowald et al. (2013) 在英语和韩语里都发现可预测性越高的词越短;Genzel & Charniak (2002) 从文本熵率恒常性一侧给了独立支持。四组数据,不同语言、不同层级,同向。
【极难发现】真正反直觉的地方:UID 把「效率」的定义换掉了。日常直觉里效率 = 单位意义用最少的符号(Shannon 源编码,最短码)。UID 说的是另一件事:效率 = 单位时间信息率恒定(信道容量约束下的调度)。这两个目标在有限信道下会冲突,而语言选了后者。所以「简洁」不是美德,「节奏」才是。
【流程节点链路】观察可选成分的分布 → 发现其出现率随上下文可预测性系统变化 → 排除「最短编码」解释(否则出现率应恒为 0)→ 引入「信息率恒定 + 信道容量」假设 → 预测:在难点前插入低信息成分、在易点处压缩 → Jaeger 2010 / Frank & Jaeger 2008 / Mahowald 2013 / Genzel & Charniak 2002 四组独立数据同向 → 终点:UID 是可证伪的生成模型,不是事后叙事。
【待验证】UID 的因果方向还没钉死。Jaeger 的框架是「为听者着想」(comprehender-driven),但同样数据也能被「为说话人自己省力」(production planning)解释:难点前的停顿可能只是规划成本。区分这两个假设需要操纵听者需求而保持说话人成本不变——可设计,但据我所知还没干净地做过。
引申:如果 UID 成立,「好文笔」的标准就不是「字少」,而是 bits/秒 平稳。LLM 文本常局部过平(低 surprisal 的长段)然后突然陡峭;按 UID,这该被读成「节奏坏了」,而不是「信息量不够」。你读 LLM 文本时那种说不清的「平」,是不是就是这个?如果是,它可测量:分段算 surprisal 方差,UID 预测人类文本的方差更小。







0 评论