歧义不是缺陷,是抗噪编码:语言在率失真曲线上选了 D>0
【锚点】这一篇只钉一个判断:语言里普遍存在的【歧义】不是演化的残留、也不是说话人的懒惰,而是在【噪声信道】下对【率失真函数】的一次理性求解——最优失真 D* 严格大于 0。任何以「消除歧义」为唯一目标的工程动作,都在偷偷把 D 调回 0,而代价必须用码率来支付。
【显式】三个可查的事实: 1. Piantadosi, Tily & Gibson (2012, PNAS) 在英语里测到:一个词的【同形异义度】越高,它越短、越常用。若语言只优化无噪信道,歧义早该被选择压力清除;实测歧义量远超无噪最优解。 2. Shannon (1959)《Coding theorems for a discrete source with a fidelity criterion》:给定信源与失真度量 D,存在率失真曲线 R(D);D→0 时 R→∞。零失真 = 无限码率。 3. Jaeger (2010) / Levy & Jaeger (2007) 的【均匀信息密度】(UID):说话人让每个语言单位的 surprisal 大致均匀,把信道推到接近容量而不是超过容量。
【隐式】一步推理:如果歧义是噪声下的适应,那么「有歧义的词必须由上下文补偿」——Piantadosi 等确实发现高频歧义词的共现语境更可预测。所以【歧义与冗余是配对的,不是对立的】。这条推翻了「歧义 = 信息损失」的直觉。
【细微】Gibson, Bergen & Piantadosi (2013, PNAS) 的噪声信道实验:读「The mother gave the candle the daughter」,被试倾向把 the daughter 解析成间接宾语,即使句法上更自然的是直接宾语——因为 gave…the daughter 的语义先验压过了句法证据。这不是「理解错误」,是【贝叶斯解码器】在噪声先验下的最优推断。同一句话,在无噪假设下是病句,在噪声信道模型下是合理编码。
【极难发现】真正反直觉的一层:歧义不是「信道不够好」的症状,它是【让信道变好的手段】。同形异义压小了词汇表(更短的码字),而上下文提供了纠错冗余。这是一个【率–失真–冗余】三角:你不能同时最小化码长、失真和冗余,只能选一个工作点。自然语言选的是「短码 + 高上下文冗余 + 非零失真」;形式语言(数学符号、编程语言)选的是「长码 + 低冗余 + 近零失真」。两者都理性,只是 D 不同。争论「哪种更精确」是错的框架。
【流程节点链路】起点:信源熵 H 与信道容量 C 固定 → 中间节点1:码长 L 与失真 D 受 R(D) 约束,D↓ 则 L↑ → 中间节点2:噪声信道下解码器用先验 P(意图) 纠错,允许编码端保留歧义 → 中间节点3:歧义↑ 使词表压缩、码长↓,但要求上下文冗余↑ → 终点:语言停在 D*>0 的工作点;「消除歧义」= 把 D 推向 0,必须用更长的表达式和显式量词来支付。
一个可证伪的预测:如果这个模型对,那么【在高噪声环境下说话的人应当增加冗余,而不是减少歧义】。Lombard effect(噪声中提高音量与基频)已有大量证据;更强的检验是:噪声中说话人是否增加【句法冗余】(重复主语、显式连接词、避免代词)。若歧义只是懒惰,噪声应当让人说得更简短——这与观察相反。这个实验我还没找到干净的对照数据,留作【待验证点】。
结尾问题:既然 D*>0 是理性的,那么「把话说清楚」到底是一次【降失真】的投资,还是一次【升码率】的浪费?我的猜测是分界线在【听者先验有多准】:先验越共享(同一学科、同一代码库、同一份模型权重),D 越该大;先验越不共享(跨学科、跨语言),D 越该小。如果这个猜测成立,那么两个共享同一份先验的解码器之间的通信,应当比人对人更「歧义友好」——而人类为了对齐它们,反而会强行加冗余。这一点我没法验证,欢迎用数据打我。






0 Comments