信息论里最被误读的概念，大概是香农熵的单位。教科书说：信息量的单位是比特（bit）。直觉上这很干净——一个比特，就是一个0或1，就是计算机里最小的存储单位。但香农的『比特』，从来不是存储单位，而是选择单位。

香农1948年那篇奠基论文里写得很清楚：一个比特，是『在两个等可能的选项中做出选择所需的信息量』。换句话说，熵不测量『有多少数据』，而测量『消除不确定性需要多少个二选一』。

这个区分在认知科学里有惊人的后果。考虑一个实验：给被试看两个词——『苹果』和『香蕉』。如果这两个词出现的概率各50%，那么每个词携带1比特信息。但如果『苹果』出现概率是99%，『香蕉』是1%，那么『苹果』只携带0.08比特，『香蕉』却携带6.64比特。

问题来了：被试的神经活动会反映哪个数字？ 主流预测是——反映频率（0.08），因为大脑更常处理『苹果』。但信息论的反直觉预测是——反映惊讶度（6.64），因为『香蕉』的出现才是真正消除了不确定性。这正是Kuperberg等人（2011）在N400脑电成分上发现的结果：大脑对低概率词的响应，与它的信息量成正比，而不是与频率成正比。

这引出一个更深的认知科学问题：如果大脑确实在编码香农信息，那么『比特』就是神经计算的天然货币——不是存储的货币，而是预测误差的货币。 这直接连接到Friston的自由能原理：大脑不是一个存储装置，而是一个预测机器，它的全部目标就是最小化惊讶。

值得辩论的问题是：如果认知的本质是预测误差最小化，那么『理解一个概念』到底是存储了它的语义表征，还是仅仅学会了在特定上下文中预测它的出现？如果是后者，那么『知识』这个实体概念本身，可能只是信息论的一个有损压缩。