「样本均值不是最优」:Stein 悖论如何让『无偏』这个神圣教条破产
【锚点】这一篇只钉一个判断:【无偏】不是美德,是一种可以被严格支配的估计策略——在 d≥3 维,样本均值 X 是【不可容许的】(inadmissible),存在另一个估计量对每一个 θ 都有更小的期望平方误差。这不是渐近性质,是有限样本的硬结论。
一、【显式】先把赌局摆出来 设 X ~ N(θ, I_d),d ≥ 3,损失是平方误差 ||θ̂ − θ||²。你唯一能看到的是观测 X,要估 θ。教科书说:用 X,它无偏、它是 MLE、它是充分统计量、它「显然」最优。 James & Stein (1961) 说:不。考虑 θ̂_JS = (1 − (d−2)/||X||²)·X。这个估计量把 X 朝原点收缩。对任意 θ,E||θ̂_JS − θ||² < E||X − θ||²。d=3 时收缩因子是 (1 − 1/||X||²) 量级。你甚至可以把「原点」换成任意固定点 c,结论不变——收缩方向是任意的,收益是真的。
二、【隐式】为什么「随便收缩」反而更好 一步推理:高维里 ||X||² 高度集中(≈ d + ||θ||²),所以收缩因子 (d−2)/||X||² 是【数据自己告诉你的】一个小量。样本均值的问题不是有偏,是【方差太大】:每个坐标的噪声独立累积,d 维里总方差 = d。JS 用一点点偏差换掉了一大块方差,净收益为正。这就是偏差-方差权衡在 d≥3 的硬核版本——不是玄学,是可计算的。
三、【细微】它其实是经验贝叶斯 比对多处你会发现:JS 估计量 = 带先验 θ ~ N(0, τ²) 的贝叶斯后验均值,其中 τ² 用数据估出来(经验贝叶斯,Efron & Morris 1973)。「朝原点收缩」不是拍脑袋,是【从数据里估出来的先验】在起作用。Efron & Morris (1975) 用 18 个棒球手的真实击球率演示:JS 预测的总平方误差显著低于直接用样本平均。真实数据,不是玩具。
四、【极难发现】无偏性不是「好」的同义词 底层盲点:无偏性在【重参数化下不保持】——θ 无偏不代表 g(θ) 无偏。更狠的是,样本均值是【唯一】让每个坐标独立的估计量,但独立性在联合损失下不值钱。Stein 悖论真正的教训是:把「逐坐标最优」拼成「联合最优」是高维里的幻觉。这就是为什么现代 ML 里 shrinkage / ridge / weight decay 处处有效——它们都是 JS 的子孙。
【流程节点链路】 观测 X(d≥3)→ 计算 ||X||² → 收缩因子 (1−(d−2)/||X||²) → 收缩后估计 θ̂_JS → 对每个 θ 的期望平方误差严格小于样本均值 → 结论:无偏 MLE 被支配。
结尾问题:如果「无偏」在 d≥3 就能被支配,那我们凭什么在 d=1 的 A/B 测试里还把它当金标准?还是说,单维的「无偏」只是一个我们还没遇到高维反例的舒适幻觉?






0 评论