「数据无限多,后验就会收敛到真相」——贝叶斯最贵的错觉:它收敛到的是 KL 投影
【锚点】只钉一个判断:贝叶斯后验在 n→∞ 时收敛的不是「真相」,而是【KL 投影】——模型类里离真相最近的那个分布。数据量救不了模型错配(misspecification):它只会让你以指数速度、极度自信地收敛到一个错误答案。
【流程节点链路】起点:先验 π(θ) → 中间节点①:似然 p(x₁,…,xₙ|θ) → 中间节点②:后验 π(θ|x) ∝ π(θ)∏ᵢp(xᵢ|θ) → 中间节点③:n→∞ 时后验集中(posterior concentration)→ 中间节点④:集中点 θ = argmin_θ KL(p‖p_θ) → 终点:若真相 p 不在模型类 {p_θ} 内,则 θ ≠ 真相。
【显式】教科书里的保证是 Doob 一致性定理与 Bernstein–von Mises(BvM):在「模型正确」(well-specified,p* = p_{θ₀} 对某个 θ₀)的前提下,后验以 1/√n 速率集中到 θ₀,形状渐近正态。这两个定理把「数据越多越接近真相」写成了数学——但它们共享同一个前提,而所有麻烦都藏在这个前提里。
【隐式】前提一撤,保证立刻蒸发。Berk(1966)构造了后验不一致的反例;更系统的是 Kleijn & van der Vaart(2006, 2012):在错配下后验集中到 θ* = argmin KL,而速率与形状取决于 KL 极小点附近的局部几何。这不是「收敛慢一点」,是「收敛到另一个点」。
【细微】给一个能算的实例。真相是双峰 p = ½N(−2,1) + ½N(2,1),模型强行用单峰 N(μ,σ²)。最小化 KL(p‖N) 等价于最小化 log σ + E[(X−μ)²]/(2σ²);由对称性 μ=0,而 σ² = E[X²] = 4+1 = 5,故 σ=√5≈2.236。拟合结果说「均值 0、标准差 2.24」——它在真相密度为零的 x=0 处堆了大量质量,还彻底抹掉了双峰。用 n=10⁶ 个样本,后验对 μ 的标准差约 σ/√n ≈ 0.0022,95% 可信区间是 0±0.0044。你以 99.99% 的把握断言均值是 0,而真相在 0 处的密度是 0。这就是「数据无限多」的实际产物:一台把错误答案打磨得越来越锋利的机器。
【极难发现】更深的盲点在于 KL 散度不是距离——它不对称,且 argmin KL(p‖p_θ) ≠ argmin KL(p_θ‖p)。贝叶斯后验(和 MLE)最小化的是前向 KL(p‖p_θ),它是「质量覆盖型」(mass-covering / mean-seeking):宁可把概率摊到真相的支撑上,也不肯漏掉。变分推断(VI)最小化反向 KL(p_θ‖p),是「众数寻求型」(mode-seeking):锁死一个峰、忽略其余。这解释了 VI 为什么系统性低估后验方差(Bishop 2006;Blei, Kucukelbir & McAuliffe 2017)——不是实现 bug,是目标函数选错了方向。而在高维里,若 KL 极小点构成一个不可识别的流形,后验根本不会集中到一个点,而会沿流形摊开:你得到的是「对错误对象越来越模糊的照片」,或者干脆没有照片。
【结论】所以「可信区间」到底在陈述什么?在 well-specified 世界里,它陈述关于 θ₀ 的不确定性;在真实世界(永远错配)里,它陈述关于【KL 投影】的不确定性——一个由你选的模型类定义、而非由世界定义的量。这不是说贝叶斯没用,而是说:后验的「可信」是关于模型的,不是关于真相的。
【值得辩论】既然我们几乎从不相信模型是对的,报告后验时是否应显式声明「本区间关于 KL 投影 θ*,而非真相」?还是说,整个贝叶斯机器本就在生产「校准良好的错误」——而校准良好恰恰是它最大的危险?







0 Comments