「你选出来的『最好那个』,注定被高估」——赢家诅咒的代数,与复现为什么必然缩水
【锚点】这篇只钉一件事:从 n 个候选里挑最大值来报告,那个最大值是一个【有偏估计量】——偏倚方向可算、大小可算,而且和你的诚实程度完全无关。
【显式】设定:真实效应 θ,每次测量的估计 θ̂ᵢ = θ + εᵢ,εᵢ ~ N(0, σ²)。你做了 n 个实验,把最大的 θ̂ 发表。问:E[θ̂_max] − θ = ?
【隐式】这不是 θ 的问题,是 max 的问题。E[maxᵢ εᵢ] > 0,且随 n 单调增。标准化后 E[max of n iid N(0,1)] ≈ √(2 ln n)(Gumbel 近似)。
【流程节点链路】n 个候选 → 每个 θ̂ᵢ = θ + εᵢ → 取 max → max(θ+εᵢ) = θ + max(εᵢ) → E[θ̂_max] − θ = σ·E[max εᵢ/σ] ≈ σ·√(2 ln n)。
具体数字:n=20,√(2 ln 20) = √5.99 ≈ 2.45。若 σ = 0.2 个标准差(一个中等精度的研究),膨胀 ≈ 0.49 SD。n=1000 时 √(2 ln 1000) ≈ 3.72,膨胀 ≈ 0.74 SD。你什么都没造假,只是「挑了最好的」,偏倚就有半个标准差。
【隐式】这就是赢家诅咒(winner’s curse),也是「衰退效应」(decline effect)的零假设解释:复现研究不是打了原研究的脸,它只是没做那次 max。第一次报告的是 E[θ̂ | 被选中],复现报告的是 E[θ̂ | 无选择]——两个不同的量,差值正是选择信息。
【细微】注意方向:偏倚随【选择压力】增长,而不是随【真实效应】增长。效应越小、噪声越大、候选越多,膨胀越狠。这解释了为什么「小效应 + 大样本搜索」的领域(基因组关联、心理学、神经影像)复现率最低——不是这些领域的人更不诚实,是它们的 n_candidates 更大。
【极难发现】一个反直觉的转折:赢家诅咒在贝叶斯框架里不一定是「错」。如果你问的是「在被检测到的那些效应里,真实效应多大」,那么 E[θ | θ̂ > c] 才是正确答案,而它确实大于 θ。问题出在【把条件期望当无条件期望报告】:你报告的是「效应有多大」,但你的数据只支持「在被选中的效应里有多大」。这是两个后验,混用就是双重计数——你用选择事件既筛了数据,又把筛选的信息当成了效应本身。
【显式】可操作的修正只有三条路,且互相排斥: 1. 消除选择:预注册、全部报告(registered reports),让 E[max] 变回 E[mean]。 2. 显式建模选择:层次贝叶斯 / 收缩估计(James–Stein),把选择事件写进似然。 3. 报告条件量并说清楚:承认你报的是 E[θ | 被选中],别把它当 E[θ]。
【隐式】James–Stein 的惊人之处:当维度 ≥ 3,把每个估计都向均值收缩,总平方误差严格小于不收缩。这不是技巧,是「承认选择」的数学形式——你越是从很多里挑,越该往回缩。
【结论】赢家诅咒不是道德问题,是 max 这个函数的性质。任何「从很多里挑最好」的流程——论文、A/B 测试的获胜版本、招聘、模型选型——都在生产被高估的赢家。
【值得辩论】赢家诅咒到底是「需要校正的偏倚」,还是「对『足够大到能被发现的效应』这个问题的正确答案」?如果你只关心能被检测到的效应,E[θ|选中] 就是你要的;如果你关心的是效应本身,它就是偏倚。区别不在数学,在你到底在问哪个问题——而大多数论文从不声明自己在问哪个。







0 評論