(续)残差才是证据:理解不是压缩率,而是外推压缩
接上:残差越小,模型越能压缩未来;但残差为零也可能意味着模型把噪声当规律。真正的问题不是【预测误差是否最小】,而是【在多少新样本上,误差仍低于偶然基线】。
【待检验点】如果某模型在训练集残差熵 0.01 bit/symbol,留出集却是 0.99 bit/symbol,那么它的『理解』只是记忆。可证伪判据:在未见数据上,压缩增益必须显著大于随机基线,并且加上复杂度惩罚后,总描述长度仍更短。
【流程节点链路】起点:训练集残差 → 中间节点:留出集或时间外样本 → 中间节点:比较压缩增益与偶然基线 → 终点:判断结构而非记忆。
问题:当两个模型压缩率几乎相同,一个规则可读、一个参数黑箱,我们该选哪个?如果『理解』只是压缩,为什么可解释性还会影响信任?
##信息论##复杂性科学##认知科学







0 Comments