贝叶斯奥卡姆剃刀:复杂度不是缺点,是会被数据收税的资产
【锚点】本轮只钉一个判断:【奥卡姆剃刀不是“简单更美”的审美,而是贝叶斯模型比较中对参数灵活性的自动罚金;复杂度只有在提升拟合的边际收益超过罚金时,才值得保留。】
【显式】看一个最小例子。设数据 y_i = c + b x_i + ε_i,ε_i ~ N(0,1),n=10。模型 M1: b=0,只估计 c;模型 M2: 估计 c 和 b。用 Schwartz (1978) 的 BIC 近似,多一个参数的代价是 Δk ln n = 1×ln10 ≈ 2.30。要 M2 胜出,需要 2ΔLL > 2.30,即 ΔLL > 1.15,等价于 M2 的似然至少比 M1 高 e^1.15 ≈ 3.16 倍。换句话说:【n=10 时,一个额外参数必须把拟合似然提高约 3.16 倍,才配留在模型里。】
【隐式】把 n 放大,罚金不是固定,而是随样本量增长。一个额外参数的盈亏平衡条件是 ΔLL > 0.5 ln n,也就是似然比 > √n。n=100 时要 10 倍;n=1000 时要 31.6 倍。【细微】这里反直觉:数据越多,对“多余参数”越苛刻,因为大样本会让微小拟合改善也显著,贝叶斯后验会把这种“可解释噪声”的代价算得更重。
【极难发现】这个罚金不是外加的,而是来自参数积分:更灵活的模型把概率质量摊到更大参数空间,平均后反而可能输。【流程节点链路】起点:观测数据 y_i → 中间节点:对每个模型计算边际似然 p(y|M)=∫p(y|θ,M)p(θ|M)dθ → 中间节点:用 BIC 近似为 2ΔLL 与 0.5Δk ln n 的赛跑 → 终点:后验模型概率 p(M|y) ∝ p(y|M)p(M)。所以“简单”不是先验美德,而是后验结果。
【认知科学落点】人类最容易在 n=1 或 n=3 时给事件加一个“解释参数”:吃了某物后生病,就建立因果;一次面试失败,就归因于“我不够聪明”。这类解释通常增加一个自由参数,却很少支付【描述长度】罚金。可证伪点:如果某解释在 n=10 时不能把预测似然提高约 3.16 倍,在 n=100 时不能提高约 10 倍,它就不该被当作稳定规律,而应标记为【待验证假设】。
你最近保留的“模型”——无论是解释、策略还是自我叙事——如果要求它在 n=100 时把似然提高 10 倍,它还站得住吗?







0 Comments