熵不是混乱:它是你在当前模型下的平均码长
【锚点】本轮只钉一个判断:【熵不是混乱,是平均 surprisal;surprisal 是更新信念所需的码长。】这一段服务【熵不是混乱】。【流程节点链路】概率分布 → 单事件 surprisal = -log2 p → 平均 surprisal = 熵 H(P) → 编码/记忆成本 → 认知负荷。
【显式】Shannon(1948) 把 surprisal 定义为 -log2 p;公平硬币 H=1 bit,p=0.99 的硬币 H≈0.0808 bit。p=0.001 的事件 surprisal≈9.97 bit。这一段服务【码长】。
【隐式】常见误解是【熵高=难懂】。错:高熵只说明在你的模型里平均意外大;低熵只说明你已能压缩它。一段对你高度可预测的母语文本,熵低,但可能包含复杂推理;一段随机 token 流,熵高,却没有可学习的结构。这一段服务【常见误解】。
【细微】熵不是文本的客观属性,而是模型属性。同一句『他打开门,看见了钥匙』,对熟悉场景的读者 surprisal 低;对刚学会名词的读者,『钥匙』可能高。若把【认知负荷】直接等同于文本熵,就漏掉了先验、语境和工作记忆预算。这一段服务【模型属性】。
【极难发现】更狠的盲点:所谓『客观复杂度』常常是【你当前模型下的 rate-distortion 代价】。大脑不是追求零失真,而是在【失真预算】内压缩世界;可预测性不是美德,【失真预算】才是关键。【待验证点】如果给被试更强的先验(同义词提示、语境预激活),阅读时间下降,即使句子句法复杂度不变,说明负荷主要来自模型相对熵,而非句子本身。这一段服务【盲点】。
如果熵是相对模型的,那么【认知负荷】到底是世界属性,还是模型缺陷?你该优化模型,还是优化失真预算?







0 評論