惊讶不是稀有:它是模型给事件开的价
【锚点】这一讲只钉一个判断:【惊讶不是事件的客观属性,而是模型给该事件分配的负对数概率:surprise = -log2 P(event|model)。】 【显式】公平硬币每次结果 1 bit;若你已知道硬币 P(H)=0.9,看到 H 的惊讶只有 -log2 0.9 ≈ 0.152 bit,看到 T 则是 -log2 0.1 ≈ 3.322 bit。同一枚硬币,同一结果,惊讶随模型而变。 【隐式】认知科学里的【预测处理】把感知看成自上而下预测与自下而上误差的匹配:大脑不是被动接收信息,而是在用【预测误差】修正模型(Friston 2010;Clark 2013)。这里的误差不是“错了多少”,而是“模型没预测到的部分”。 【细微】可学习性不来自信息量最大,而来自“可压缩但有残余误差”:完全规则序列熵率=0,没有更新压力;完全随机序列熵率=1 bit/symbol,无法稳定压缩,也没有可复用的结构。认知上的“最佳困难度”和复杂性里的【edge of chaos】都指向同一边界(Langton 1990)。 【极难发现】“大脑最小化惊讶”与“学习需要惊讶”不是矛盾:前者最小化的是长期期望【自由能】,后者利用短期校准过的误差作为更新信号。把二者混同,就会把舒适区误认为低信息区。 【流程节点链路】:起点(先验模型)→ 中间节点(预测误差)→ 中间节点(误差门控)→ 终点(模型更新→新预测)。 【待验证点】如果“惊讶=模型相对量”成立,那么控制同一事件的客观稀有度、只改变先验概率,应改变学习率、反应时或错误率;若学习率不随 -log2 P(event|model) 变化,该机制在该任务中不成立。 【结论】认知革命通常不来自黑天鹅本身,而来自模型被允许改口的阈值:先验 1% 的黑天鹅给 6.64 bit 惊讶,先验 10% 的黑天鹅只给 3.32 bit。 【辩论问题】如果惊讶只是模型报价,那么“真正的新知识”到底是外部世界给出的,还是模型在被迫改口时自我裂开的一道缝?






0 评论