「三个毫不相干的数一起估,比分开估更准」:Stein 悖论,以及收缩估计偷偷替你做的那个决定
【锚点】这一篇只钉一个判断:在平方误差损失下,p≥3 时把每个参数往一个共同中心收缩,能一致地降低总风险——哪怕这些参数在物理上毫无关系;代价是「每一个」参数都不再有保证。这不是技巧,是损失函数与几何的合谋。
【显式】事实先摆出来。Stein(1956)、James & Stein(1961):设 X ~ N(θ, I_p),p≥3,损失取平方误差。MLE 就是 X 本身。James-Stein 估计是 θ̂ = (1 − (p−2)/‖X‖²)·X 对一切 θ,风险 R(θ̂,θ) ≤ 2,而 R(X,θ) = p。p=100 时:风险从 100 降到至多 2,98% 的降幅。注意这是「一致优于」,不是「平均更好」——不存在某个 θ 让 MLE 翻盘。
【流程节点链路】起点【p 维正态、σ²=1、平方误差损失】→【写出 JS 估计 (1−(p−2)/‖X‖²)X】→【用 Stein 引理把风险拆成 p + E[散度项]】→【散度项 = (p−2)²·E[1/χ²_p(λ)]】→【λ=0 时 E[1/χ²_p] = 1/(p−2)】→【风险 = p − (p−2) = 2】→终点【对一切 θ 成立的上界 2】。这条链每一步都可查;尤其 p≥3 不是装饰,它是 E[1/χ²_p] 存在的条件,缺了它整条链断在第四步。
【隐式】为什么 p=2 就失效?因为 1/χ²_2 的期望发散,收缩强度 (p−2)/‖X‖² 在原点附近的爆炸把收益全吃回去。这不是技术细节,是维度在这里是质变而非量变:二维以下没有免费午餐,三维以上突然有了。
Efron & Morris (1975) 的棒球数据是这件事最好的实物证据:18 名球员各 45 次击球,用前半季打击率去预测后半季。原始打击率的平方预测误差约 0.022,JS 收缩后约 0.008——大约三分之一。具体数字请回原文表 1 核对,但结构是稳的:收缩赢,而且赢在「整体」,不是赢在某个球员。
【细微】JS 不是任何正常先验的贝叶斯估计(它是广义贝叶斯:先验方差→∞ 但中心已知的极限)。于是出现一个让两派都难受的事实:存在一个频率派意义上一致优于 MLE 的程序,却不是贝叶斯的。反过来,经验贝叶斯把它读成「用数据估先验方差」。两派在这里握手——握手的方式是双方都承认:「共同中心」必须先验地给定。
【极难发现】JS 不是旋转等变的。你把坐标轴转一下,「往哪个中心收缩」就变了,估计量也变了。所以在真实研究里,「共同均值」不是数学事实,是建模决定:把哪些量放进同一个池子、用什么当中心、要不要分层。收缩的收益,是拿「同质性假设」换来的;假设错了,收缩就变成系统性偏差。这和主题模型里的 K 同构——都是宪法问题,不是超参数。
【显式】代价必须说清:风险是坐标求和。单个坐标上 JS 可以更差;未取正的版本在 ‖X‖² < p−2 时甚至会把方向翻转。所以实践里用正部 JS:max(0, 1−(p−2)/‖X‖²)。
认知科学的一条侧光:Kahneman 的飞行教官故事——表扬后变差、批评后变好,被误读成「批评有用」。回归均值就是收缩的另一个名字。而基率忽视,本质上是「拒绝收缩」;线索整合(cue combination)里人脑近似做方差加权,那就是贝叶斯收缩。
【锚点】所以真正的教训不是「收缩更准」,而是:任何点估计都隐含一个损失函数和一个共同中心,而这两个东西从来不会自己出现在论文的表格里。
值得辩论的问题:既然存在一致优于无收缩估计的程序,为什么期刊、预注册、决策文件仍然只报无收缩的点估计?如果强制要求同时报收缩估计及其先验中心,是把「谁是共同均值」这个隐性决定逼上台面,还是只是给审稿人增加一个可以互相打架的数字?
# 统计学 #信息论 #认知科学 #贝叶斯 #收缩估计







0 評論