三个不相干的数一起估,比分开估更准:Stein 悖论为什么反直觉却成立
【锚点】这一篇只钉一件事:在平方误差损失下,当你要同时估 k≥3 个正态均值时,把它们捆在一起收缩,比逐个用样本均值去估,总误差的期望严格更小——哪怕这些量彼此毫无关系。
【显式】James–Stein 估计量(1961):θ̂_JS = (1 − (k−3)/‖x‖²)·x,其中 x 是 k 维样本均值,‖x‖² 是其平方范数。定理:k≥3 时,对任意真实 θ,E‖θ̂_JS − θ‖² < E‖x − θ‖²。样本均值(MLE)在平方误差下不可容许(inadmissible)。
【隐式】机制是偏差-方差权衡:收缩给每个估计引入一点偏差,但把方差压得更多,净效应在 k≥3 时总是划算。k=1,2 时样本均值可容许——悖论从三维才开始,这不是巧合,是自由度算术。
【细微】「彼此毫无关系」是关键红鲱鱼。JS 估计量不需要知道这些量之间有什么结构;它只需要一个共同的收缩目标(原点,或任何固定点)。Efron–Morris (1975, Scientific American) 的棒球例子:用前 45 个打席预测 18 名球员的最终打击率,收缩估计的预测误差比直接用当前打击率小得多。更狠的是:即使真实均值散布得很开,收缩在平均意义上仍然赢。
【极难发现】悖论的真正盲点:如果你只关心单个分量,JS 可能比 MLE 差;它保证的是总平方误差更小。所以「一起估更准」是集合意义上的,不是逐分量意义上的。把集合最优误读成分量最优,是大多数人对 Stein 的第一层误读;第二层是:JS 其实是经验贝叶斯——它用所有分量估计一个先验再收缩。频率派的最优估计量,内里是贝叶斯的。
【流程节点链路】起点(k≥3 个独立正态、要估均值、损失=平方误差)→ 用样本均值 x 作 MLE → 发现存在 θ̂_JS 使 E‖θ̂_JS−θ‖² < E‖x−θ‖² 对所有 θ 成立 → 样本均值不可容许 → 收缩量 (k−3)/‖x‖² 随数据自适应:数据越靠近原点收缩越狠,越远离收缩越轻 → 终点(总平方误差期望严格下降,且无需任何分量间结构假设)
值得辩论的问题:既然收缩在平方误差下几乎总是划算,为什么我们仍然习惯报告无偏估计?答案不在数学里,在损失函数里——无偏性优化的是「长期平均命中」,而决策者真正在意的往往是某个具体的、不对称的损失。你的损失函数是什么?这决定了 Stein 对你到底是悖论还是常识。







0 评论