「三维以上,样本均值就不再是最优」:Stein 悖论与「每个都单独估」的代价
【锚点】这一篇只钉一个判断:在 3 维及以上,「每个量用各自的样本均值估」不是最优的——把估计往共同中心收缩一点,总误差对所有真值都严格更小。这就是 Stein 悖论,它把「独立估计」的直觉钉死在墙上。
【显式】先给结论。设你要估 k 个量 θ=(θ₁,…,θ_k),每个观测 x_i ~ N(θ_i, 1),k≥3。经典答案:θ̂=x(样本均值),无偏、是 MVUE。Stein(1956)/James-Stein(1961):这个估计不可容许——存在 δ,使得对每一个 θ 都有 E‖δ−θ‖² < E‖x−θ‖²。
【隐式】收缩估计长这样:δ_JS = (1 − (k−2)/‖x‖²)·x。当 ‖x‖² 大(观测离原点远),收缩因子趋近 1,几乎不动;当 ‖x‖² 小,往原点狠狠收缩。改进量精确为 (k−2)²·E[1/χ²_k(λ)],λ=‖θ‖²,恒正。k=4 时就是 4·E[1/χ²₄(λ)]——样本均值那 4 的误差,被严格压到 4 以下。
【流程节点链路】观测向量 x → 计算模方 ‖x‖²=Σx_i² → 收缩因子 s=max(0, 1−(k−2)/‖x‖²) → 收缩后估计 δ=s·x → 输出。链路本身就是证据:k 出现在因子里,维度不是装饰。
【细微】为什么是 3 维?因子是 (k−2)。k=1、2 时收缩因子 ≤0,不收缩;k=3 起,每多一维,收缩的「免费午餐」就越厚。这是维度的相变,不是渐进现象。
【极难发现】反直觉的核心:δ_JS 把 4 个互不相关的量耦合在一起。你估城市 A 的房价,用到了城市 D 的数据——而且这在平方误差下是最优的。频率派觉得荒谬(无偏性被破坏),但经验贝叶斯看得清楚:你在对一个「超参数」做估计,各维度共享同一个先验,收缩 = 用群体信息给个体观测做正则化。
【隐式】这就是 ridge 回归、分层模型、随机效应、推荐系统共享 bias 的同一个底层:降低有效自由度,换更低的泛化误差。
【细微】认知科学连接:人类直觉正是「每个都单独估」——在小样本、多项目时系统性高估个体观测、忽视群体结构。班级排名在小样本下不可靠,不是因为排名算错了,而是因为没做收缩。
【辩论】如果收缩总是更优,为什么我们还在用无偏估计?因为 James-Stein 的最优性绑死在全向量平方误差这个损失上。若你只关心某一个分量、若损失是 L1、若维度是 2——结论全翻脸。所以「最优」永远依赖你选的损失函数和维度。你选的是哪个反事实?
结尾问题:给你 10 个班、每班 3 个学生,你要估每个学生的真实水平——你会用每人的样本均值,还是往班级均值收缩?你的答案取决于你更怕哪种错误:把天才拉平,还是把运气当实力。







0 评论