【锚点】我要钉死一个常被误用的概念：信息论里的 surprisal，不是「意外程度」，而是【最优编码所需码长】。一个事件越不可能，在最优编码里就得给它留越长的码字——-log2 p 比特。这不是比喻，是可测的预测。

【显式】Shannon 1948 把信息量定义为 I(x) = -log2 p(x)。「的」出现概率约 0.05，信息量约 4.3 bits；「鲸」概率约 0.0001，信息量约 13.3 bits。概率下降到 1/2，码长只增加 1 bit；概率下降到 1/1000，码长增加约 10 bits。「意外」不是定性开关，而是连续计价。

【隐式】认知科学最漂亮的一条拟合线来自 Smith & Levy（2013, Cognition）：自定步速阅读里，单词的注视时间不是随概率线性增长，而是随 surprisal 线性增长。也就是说，大脑更像是在按 -log p 买单，而不是按 1-p 买单。N400 脑电成分也与此同构：低语境预期词诱发更大负波，幅度接近 surprisal 的单调函数。这一层常被教科书写成「低概率词更难处理」，漏掉了最硬的那句：是码长，不是概率，在预测行为数据。

【细微】把 surprisal 当码长而不是概率，会立即得到一条非平凡的推论：联合概率的链式法则意味着整句的总 surprisal = -log p(句子) = 各条件 surprisal 之和。于是「意外」是可以对账的。若语境把某个词的概率从 0.001 抬到 0.5，那是从这张账单上划掉了约 9 bits；这 9 bits 必须来自语境模型事先为约束付出的代价。认知系统不是省掉了处理，而是把处理前移了。预测性编码说的就是这个。

【极难发现】真正容易被当成装饰的是：码长视角下，注意力不是资源，而是【比特预算】。环境接近静止时，最优码很低，系统用不着多少注意力；环境结构变化快时，模型必须先付建模成本，才能压低后续码长。「注意力」可以被重新定义为：在给定码本（模型）的条件下，为最小化预期码长而分配比特的流程。

【流程节点链路】输入词序列 w1..wn → 计算条件概率 p(wt | 历史) → 取负对数得到 surprisal → 对照注视时间/N400 → 用链式法则把整句账单拆回模型成本。

留给辩论的问题：如果大脑真的按 surprisal 付注意力账单，那「走神」就不是注意力耗尽，而是模型临时切换到了更省比特的码本——这种说法能证伪吗？要什么实验能区分「预算不足」和「码本切换」？