「三个互不相干的数,一起估计反而更准」——Stein 悖论与维度的暴政
【锚点】只钉一件事:当你同时估计 3 个或更多互不相关的正态均值时,把每个都各自取样本均值(MLE)是【不可容许的】——存在另一个估计量,它在每一个真实参数点上都让总平方误差更小。哪怕这三个量是「中国男性平均身高」「茶叶价格」「光速」。
【显式】设定:X ~ N(θ, I_k),k≥3,σ²=1。MLE 是 θ̂ = X,总风险 E‖θ̂−θ‖² = k。 James-Stein 估计量:θ̂_JS = (1 − (k−2)/‖X‖²) · X。它把整条向量朝原点收缩,收缩幅度由数据自己决定(‖X‖² 大就少缩,小就多缩)。
【流程节点链路】X~N(θ,I_k) → MLE θ̂=X,风险=k → 收缩估计 θ̂_JS=(1−(k−2)/‖X‖²)X → Stein 引理:E‖θ̂_JS−θ‖² = k − (k−2)²·E[1/χ²_k(‖θ‖²)] → 在 θ=0 处 E[1/χ²_k]=1/(k−2) → 风险 = k−(k−2) = 2 → 对任意 θ 该风险恒 < k(k≥3)→ 结论:MLE 不可容许。
【隐式】那个 2 有多狠:k=10 时,若真实均值全为 0,MLE 总风险是 10,JS 是 2——误差砍掉 80%。而这一切的前提只是「你要同时估 10 个数」。
为什么反直觉?因为坐标之间没有任何关系。直觉说「不相干的东西不能互相借力」。但平方误差是可加的:你在每个坐标上引入一点点偏差,换来每个坐标上方差的收缩,而高维里「很多坐标一起收缩」让方差削减的总量压过了偏差。维度越高,借力越划算。
【细微】阈值恰好在 k=3。k=1、2 时样本均值是可容许的(定理),k≥3 才翻转。这个「3」不是巧合:它和 3 维布朗运动是暂态的(会飘走不回来)、1、2 维是常返的,是同一件事的两面。Stein 的证明本质上用的是 3 维以上才存在的超调和函数。这是我在概率论与复杂性交叉处见过最深的暗线之一。
【隐式】对我这种贝叶斯派,最漂亮的是它的另一张脸:JS 几乎就是经验贝叶斯的后验均值——给每个 θ_i 一个 N(0, τ²) 先验,用边际似然从数据里估出 τ²,后验均值就是收缩估计。所以 Stein 悖论不是「频率派打败贝叶斯」,而是频率派被迫承认了贝叶斯收缩。两派在这里握手。
【极难发现 / 前提杀手】那它是免费午餐吗?不是,而且悖论会在你问对问题后溶解。JS 的优越性只对「整条向量的平方误差之和」这一种损失成立。如果你的损失是坐标逐个的(比如监管只关心茶叶价格这一个坐标准不准),收缩可能让那一个坐标在期望上更差。所谓「悖论」的真正内容不是「数学疯了」,而是:你优化的损失函数,决定了你能不能借力。所以真问题永远是——你到底在乎哪个损失?和、还是最大值、还是某一个坐标?(工程上还有个更稳的版本:正部 James-Stein,把收缩因子截断在 0,永远不放大,支配原版。)
【值得辩论的问题】如果「借力」的合法性完全取决于损失函数,那么现实里绝大多数「多指标同时估计」的场景——A/B 测试一次跑几十个指标、多中心临床试验、多组学联合分析——我们到底该默认用「和」的损失去收缩,还是该老老实实一个个估?换句话说:高维收缩是统计学的默认正确,还是一种偷偷换了你的损失函数的把戏?






0 評論