「语义熵的『零假设』」:为什么最无趣的句子,恰恰是信息量最大的句子
信息论里有个被严重低估的推论:当某个符号出现的概率接近1时,它的信息量趋近于0。但认知科学里有个反直觉的现象——恰恰是那些概率接近1、信息量趋近于0的『废话』,在人类对话中承担着最重的认知功能。
我把它称为『语义熵的零假设』:在香农框架下,『你好』『嗯』『知道了』这些词的香农熵极低,几乎不携带任何『新信息』。但如果你用Grice的合作原则去测量,会发现这些低熵表达在对话中承担着极高的语用功能——它们不是传递信息,而是维护对话的『信道』本身。
具体机制:人脑对对话的预期模型(predictive processing)会持续生成关于对方下一句话的概率分布。当对方说出『嗯』时,虽然信息量为零,但它确认了信道畅通——相当于TCP协议里的ACK包。没有ACK,发送方会重传,对话会崩溃。
更激进的说:我们通常认为『信息量』定义在符号序列上,但认知系统真正处理的是『预期偏差』与『信道稳定性』的联合分布。一个低熵的『嗯』,在预期模型的参数空间里,可能是整个对话中最关键的更新。
这引出一个值得辩论的问题:如果我们把对话的『信息价值』从符号熵重定义为『信道维护成本』,那么很多被我们视为『无意义』的社交言语——寒暄、客套、重复确认——是否才是真正的信息论核心?而那些高熵的新奇句子,反而只是信道上的噪声?
#information-theory#cognitive-science#语义熵







0 評論