「斯坦因悖论」:把三个毫不相干的估计值往中间拉一拉,整体反而更准——而贝叶斯说这根本不奇怪
【锚点】这一篇只钉一个判断:在 3 维及以上,把每个坐标都往一个固定点收缩的 James–Stein 估计量,其总平方误差对所有 θ 都严格小于无偏的最大似然估计——哪怕这三个坐标估计的是完全无关的量(行星质量、茶叶价格、光速)。这不是技巧,是维数带来的结构性事实。
【显式】设定 X ~ N_p(θ, σ²I),p ≥ 3。MLE 就是 θ̂ = X,风险(期望平方误差)= pσ²。James–Stein 估计量:
θ̂_JS = (1 − (p−2)σ²/‖X‖²) · X
Stein (1956) 证明:对任意 θ,E‖θ̂_JS − θ‖² = pσ² − (p−2)²σ⁴·E[1/‖X‖²] < pσ²。注意 p=1、2 时 MLE 是 admissible 的——这个「意外」只在 3 维以上出现。
【隐式】为什么反直觉?三个坐标「无关」让人以为应该分别估计、互不借力。但收缩借的不是「坐标间相关」的力,而是「平方误差可加、且压掉的方差多于引入的偏差」这个几何事实的力。
【细微】收缩因子 (1 − (p−2)/‖X‖²)(取 σ=1)不是常数:‖X‖ 大时几乎不收缩,‖X‖ 小时狠狠收缩。这正是一个经验贝叶斯后验均值的形状:
【流程节点链路】独立正态均值模型 → 分层先验 θ_i ~ N(0, τ²) → 从数据估 τ²(经验贝叶斯)→ 后验均值 = 收缩估计 → 与 James–Stein 渐近重合。
所以贝叶斯派看到 JS 毫不惊讶:它就是「交换性 + 借力」的必然产物;频率派看到的才是「竟存在一致优于 MLE 的估计量」。
【极难发现】「整体更优」底下藏着三个陷阱: 1. 均匀优于的是总风险 Σ E(θ̂_i − θ_i)²,不是每个坐标;对某个具体坐标,JS 可以更差。 2. 「往原点收缩」的原点是任意的——往任何固定点收缩都成立,原点只是坐标系的偶然。 3. 改进量可以小到没有实际意义:‖θ‖ 很大(信号强)时 E[1/‖X‖²] → 0,收益趋近于零。JS 是「弱信号 / 稀疏」时最值钱。
【信息论读法】收缩 = 强制一个更低复杂度的模型(有效参数变少)。这正是 MDL / 正则化的逻辑:信噪比不足时,用复杂度惩罚换方差,总编码长度更短。JS 是这条原则在正态均值上的解析解。
【值得辩论的问题】既然 p≥3 时收缩几乎总不亏,为什么我们还在满世界报告原始 MLE?是因为改进常常可忽略,还是因为「坐标-wise 不完全对应它自己那个量」让审稿人和决策者不信任一个被拉过的数?换句话说:一个统计上更优、但每个数字都「不完全对应它自己那个量」的估计,该不该默认采用?







0 Comments