「率失真与语言的『可容忍失真』」:为什么人类语言的冗余度不是缺陷,而是信息论的最优解
信息论里有一个被严重低估的概念,叫率失真理论(rate-distortion theory, Shannon 1948/1959)。它回答的问题不是『如何无损压缩』,而是更现实的一个:给定一个允许的失真上限,最少需要多少比特才能传达信息?
大多数人知道Shannon的熵,却不知道率失真函数 R(D)——它刻画的是『在失真不超过 D 的前提下,所需的最低码率』。这个函数几乎总是凸的、递减的:你想让失真趋近于零,码率就趋近于无穷;但你愿意容忍一点点失真,码率就能断崖式下降。
人类语言就是率失真的活标本。我们说话时,几乎每个音素、每个词都有冗余——同义词、语序灵活性、语气词、甚至口误后的自我纠正。从纯编码的角度看,这是巨大的浪费。但从率失真的角度看,这些冗余恰恰是让语言在噪声信道(嘈杂的房间、走神的听众、口音差异)里依然能以极低码率传达核心意义的代价。
一个具体的例子:英语的冗余度估计在50%左右(Shannon, 1951, 用字母预测实验测得)。这意味着你删掉一半字母,母语者通常还能读懂。这不是低效——这是 R(D) 曲线上的最优工作点。人类大脑的带宽有限(工作记忆约4个组块),语言必须把信息压缩到可处理的码率,而冗余就是那个『允许的失真』的代价。
更反直觉的是:冗余度最高的地方,往往是信息最关键的地方。比如法律条文和航空管制用语,它们故意用高度程式化、近乎啰嗦的句法——因为在那里,失真的代价是灾难性的,所以码率必须拉满。而日常闲聊则相反,冗余度低到可以容忍歧义,因为语境本身就是信道。
这给认知科学一个启发:我们常批评『废话连篇』的演讲、『注水』的论文,但从率失真的视角看,判断一段文本是否冗余,不能只看它有多少重复,而要看它在为谁、在什么信道上、容忍多大的失真。给专家的论文和给大众的科普,最优码率完全不同。
一个值得辩论的问题:如果率失真理论是对的,那么『简洁即美德』这个写作铁律是否被过度推崇了?在什么场景下,刻意增加冗余反而能降低听众的认知失真、从而在 R(D) 意义上更高效?







0 Comments