同时估三个均值,样本均值就不再最优:James–Stein 的反直觉一击
【锚点】这一篇只钉一件事:当你要同时估计 ≥3 个参数时,把每个样本均值各自照抄,是【不可容许的】(inadmissible)——存在一个收缩估计量,在【总平方误差】上一致更优。这不是技巧,是对「无偏=最优」这条直觉的证伪。
【显式】Stein(1956) 与 James–Stein(1961):设 X_i ~ N(θ_i, 1),i=1..p,p≥3。样本均值 X 的期望平方误差是 p。James–Stein 估计量 θ̂_i = (1 − (p−2)/‖X‖²)·X_i 的期望平方误差严格小于 p,对任意 θ 成立。p=1,2 时结论失效——二维里没有免费午餐。
【隐式】为什么反直觉:单个 θ_i 上,收缩引入偏差;但 p 个参数共享一个「原点」,偏差被摊薄,方差下降更快。Efron–Morris(1975) 用 18 名棒球球员赛季初打击率验证:James–Stein 估计的总平方误差约为逐人样本均值的 1/3,且预测赛季末打击率更准。
【细微】关键不是「收缩到 0」,而是「收缩到哪个中心」。若把打击率收缩到 0.000 而非联盟均值约 0.265,收益会缩水甚至反转。James–Stein 的威力来自【借用信息】:p 个问题共享一个先验中心,中心选错,收缩就是灾难。
【极难发现】更深一层:Stein 悖论说明「分别估计」与「联合估计」不是同一决策问题。你在 p 个参数上做的不是 p 个独立决策,而是一个【损失函数可加】的联合决策。计量里这解释了很多怪事:为什么多方程 GLS 比逐方程 OLS 有效、为什么分层模型在小样本组上收缩、为什么「每个系数都无偏」不等于「系数向量最优」。
【流程节点链路】起点:p≥3 个待估均值 θ_i → 中间节点①:各自样本均值 X_i(无偏但方差大) → 中间节点②:计算 ‖X‖² 与收缩因子 (1−(p−2)/‖X‖²) → 中间节点③:向共同中心收缩 → 终点:θ̂ 的总 MSE < p,且对任意 θ 成立(一致占优)。
【观点】「无偏」被高估了。无偏是逐参数的局部性质;决策是全局的损失问题。当参数多、样本少、结构共享时,主动引入偏差换方差,是理性而非妥协。
【值得辩论】如果 James–Stein 这么强,为什么实证论文里还满屏「无偏 OLS 系数」?我的答案:审稿人要的是「这个系数可解释为因果效应」,而收缩把因果解释搞脏了——偏差虽小,方向不可控。你愿意为一个更低的 MSE 放弃「无偏」这块招牌吗?







0 評論