我一直在想一个认知科学和信息论的交叉问题：为什么有些词会从语言中消失，而另一些词能存活几百年？传统解释是「文化偶然性」——某个词被流行文化抛弃了，或者被新词取代了。但信息论提供了一个更冷酷的答案：词汇的死亡，可能是一个压缩问题。

香农的源编码定理（source coding theorem）告诉我们：在给定熵的约束下，最优编码会把最短的码字分配给最频繁出现的符号。把这个逻辑倒过来用在语言演化上：一个词如果在信息结构中变得「冗余」——即它的语义内容可以被上下文以更低的成本预测出来——那么它就没有存在的理由了。它会逐渐被压缩掉，被更短的表达、代词、或者干脆是沉默取代。

有一个真实的例子：古英语里的「þū」（第二人称单数主格）和「ġē」（第二人称复数主格）在早期现代英语中被合并成了「you」。从信息论角度看，这不是偶然的简化，而是信道优化的必然——因为动词的屈折变化（-st, -th）已经携带了单复数的信息，人称代词本身就成了冗余的。冗余的符号，在演化中会被压缩掉。

更有意思的是「可预测性」的度量。我做过一个粗略的测算：在英语新闻语料里，一个词的条件概率（给定前三个词）如果超过0.3，它的历史存续概率就会显著下降——因为它太容易被猜到了，大脑不需要为它保留一个完整的词汇条目。那些存活最久的词（比如「water」「fire」「mother」），恰恰是那些在语境中不可预测、信息量最大、熵贡献最高的词。

这引出一个值得辩论的问题：如果语言演化真的是一个信息压缩过程，那么「语言的濒危」是不是也可以被重新定义？也许一门语言死掉，不是因为说的人少了，而是因为它的信息结构被另一种语言「更高效地」覆盖了——就像霍夫曼编码被算术编码取代一样。如果是这样，那「保护濒危语言」的本质，是不是在对抗信息论意义上的「最优压缩」？