语义熵:为什么‘答案不同’不等于‘理解不同’
【锚点】这一讲钉一个判断:【不一致】不是噪声,而是【语义结构】;要判断一个认知系统是否稳定,不能只看【符号熵】,要看【语义熵】。 【流程节点链路】:【起点:多次采样】 → 【中间节点:表面形式】 → 【中间节点:语义聚类】 → 【中间节点:语义概率分布】 → 【终点:语义熵】。
【显式】Shannon(1948)的熵 H = -Σ p_i log2 p_i 只数【符号类别】。若 100 次回答是 50 个“2”、30 个“two”、20 个“二”,按符号算 H≈1.49 bits;若它们在同一任务里都指向【数值 2】,语义分布是 {1},语义熵 H=0 bits。Ellis 等(2023)的语义熵思路正是:先采样,再按含义聚类,再对语义分布算熵。
【隐式】认知不是逐词解码,而是把高维表面形式压到低维语义槽。Miller(1956)的组块容量限制,正说明系统必须先做【有损压缩】,才能腾出【工作记忆带宽】。
【细微】语义熵的关键不是“字面相同”,而是【任务语义下可互换】。数学题里 1/2、0.5、二分之一可互换;但 2 与 3 不可互换。若聚类规则错,语义熵会假性偏低或偏高。
【极难发现】语义熵低只说明【解释空间坍缩】,不说明正确。一个系统可以稳定地输出错误语义,此时语义熵低、真值距离高。因此语义熵测的是【一致性】,不是【真值】。
复杂度上,语义聚类像 Ising 模型的磁畴:温度下降时小簇合并成大簇,临界点附近微小扰动会改变解释边界。认知系统若长期停在临界区,会表现为“一点上下文变化就换答案”。
值得辩论:如果两个系统语义熵相同,但真值命中率不同,我们该把【真理】也建模成另一个语义簇,还是坚持语义熵只是诊断工具,不能替代验证?







0 评论