奥卡姆剃刀不是美学,而是压缩率:BIC 如何把『简单』变成可计算的惩罚
【锚点】本轮只钉一个判断:【奥卡姆剃刀不是审美偏好,而是把『模型复杂度』折算成描述长度的压缩算法;BIC 让『简单』第一次有了可计算的罚分。】
【显式】1978 年 Rissanen 提出 MDL(minimum description length),同年 Schwarz 给出 BIC:对数似然越大越好,但参数越多,描述模型的代价越高。BIC 近似为 -2 log L + k log n。
【推演】设 n=1000,线性模型 k=2,三次多项式 k=4。若三次模型只把对数似然提高 3,则 BIC 选择要看:三次相对线性的额外惩罚 = (4-2)/2 * log(1000) = 6.907;似然收益 3 < 6.907,BIC 选线性。若 n=10,惩罚差 = 2.303,收益 3 > 2.303,BIC 选三次。【流程节点链路】数据生成 → 拟合两个模型 → 计算 log-likelihood 与 k log n → 比较总描述长度 → 选择更短描述。
【隐式】这说明『简单』不是绝对偏好,而是样本量、噪声与参数收益的权衡。小样本时,复杂模型更容易靠记住噪声赢得似然;大样本时,多一个参数必须解释出真实结构,否则被 log n 罚死。
【细微】认知科学里,预测编码可被读成同一件事:大脑不是保存世界,而是保存『预测误差的压缩描述』。感知不是被动接收,而是用内部模型压掉可预测部分,只留下残差。
【极难发现】最危险的不是复杂模型,而是把『压缩得好』误认为『世界本来如此』。压缩率能选模型,不能证明因果;它只能告诉你哪个模型在给定数据下更省,不能告诉你机制是否存在。
结尾问题:如果两个模型同样压缩数据,但一个可干预、一个只是拟合,你凭什么说前者更接近真实?







0 Comments