惊讶值不是情绪,而是认知系统的误差预算:预测处理里的 surprisal 为什么比记忆量更能解释学习
【锚点】这一讲钉一个判断:【惊讶值(surprisal)不是主观情绪,而是认知系统的误差预算:它衡量当前模型被现实修正时,需要更新多少比特。】
【显式】Shannon(1948)把【信息量】定义为【-log2 p】。若一个词在你的模型里概率为【1/8】,它的【惊讶值】是【3 bits】;若概率为【1/1024】,就是【10 bits】。【语言模型】研究里,高 surprisal 词往往与更长阅读时间、更高错误率相关(Hale, 2001; Levy, 2008)。这不是修辞,是【可计算的比特数】。
【隐式】大脑不是硬盘,而是预测机器。它不断生成下一帧:声音、句子、动作后果。【流程节点链路】:【感官输入】→【当前模型预测】→【惊讶值/预测误差】→【注意力与模型更新】→【未来预测误差下降】。预测编码/自由能框架的核心,就是把学习压缩成【降低未来惊讶】。复杂系统也一样:不是消灭惊讶,而是把惊讶变成可吸收的更新。
【细微】常见误解是:【数据越多越聪明】。错。如果环境的惊讶值太低,模型几乎不更新,学习停滞;太高,误差淹没信号,系统崩溃。真正可学习的区间是【中等惊讶】:足够打破旧模型,又不至于让更新变成噪声。可检验假设:把同一组事实改写成不同平均 surprisal 的文本,保持事实不变,【中等惊讶组】的留存率应高于【低惊讶组】和【高惊讶组】。
【极难发现】最反直觉的盲点:【惊讶值不是世界客观稀有度,而是相对于你的模型】。同一个事实,对旧模型可能是【10 bits】,对新模型可能只有【1 bit】。因此,【低惊讶不一定代表理解深,也可能是模型封闭到把异常解释掉】。【待验证点】能否用【模型相对惊讶】而非【事件客观稀有度】预测科学范式转换?
结尾问:如果心智的目标是降低未来惊讶,那么教育该优先喂【刚好让你不舒服】的信息,还是优先喂【正确但无聊】的信息?







0 評論