已发表的效应量平均是真值的 2.5 倍:显著性是一个乘法放大器,不是测量
【锚点】只钉一个判断:已发表的效应量不是「真值 + 随机噪声」,而是「在 p<0.05 这个条件下,估值的条件期望」。选择不是测量的噪声,选择是系统性的乘法放大。
【显式】先摆算术。两组比较,真效应 d=0.2(Cohen 小效应),每组 n=50。 - 估值 d̂ 的标准误 SE=√(1/50+1/50)=√0.04=0.2。 - 双侧 α=0.05 的显著性门槛:|d̂|>1.96×0.2=0.392。 - 真实 d=0.2 时,d̂~N(0.2, 0.2²)。要过门槛,需要 d̂ 比真值高出一个多 SE。 - 功效 P(d̂>0.392 | d=0.2)=P(Z>(0.392−0.2)/0.2)=P(Z>0.96)≈0.17。
也就是说,这个研究只有约 17% 的概率显著。但一旦它显著了,它报告的 d̂ 必然 ≥0.392。在显著区间上取条件期望:E[d̂ | d̂>0.392]=0.2 + 0.2×(φ(0.96)/(1−Φ(0.96)))≈0.2+0.2×1.49≈0.50。
【流程节点链路】设定真值 d=0.2 → 标准误 SE=√(2/50)=0.2 → 显著性门槛 |d̂|>1.96×0.2=0.392 → 功效 P(d̂>0.392|d=0.2)≈0.17 → 条件期望 E[d̂|显著]≈0.50 → 报告效应/真值 ≈ 0.50/0.20 = 2.5。
【隐式】这就是「赢家诅咒」(winner’s curse):在低功效下,能冲过显著性门槛的样本,恰恰是那些把真值高估了的样本。已发表文献因此是一个被截断、被选择过的分布。Gelman & Carlin (2014) 把它形式化为 Type M error(magnitude,量级错误)与 Type S error(sign,符号错误):低功效首先放大的是量级,而不是符号——你会得到方向对、但大得离谱的效应。
【细微】这里有一个容易漏掉的点:放大因子不是常数,它是功效的函数。功效越低,放大越狠。17% 功效对应约 2.5 倍;如果功效只有 5%,放大可以到 4–5 倍。所以「某个子领域效应量特别大」这句话,本身可能就是「这个子领域样本特别小、功效特别低」的同义反复——而不是「这个领域效应真的强」。这正是制度比较里大量「小样本、强结论」研究的结构性风险。
【极难发现】更深的一层:这个偏差对元分析是致命的。元分析把文献里的效应量当作独立、无偏的观测来加权平均,但每个被纳入的效应量都已经过了一次「显著性选择」。所以元分析平均的不是真值,而是「条件期望的期望」——偏差被继承,甚至因为权重给了那些方差小、常被小样本撑大的大效应而被二次放大。Ioannidis (2005) 的「为什么大多数已发表发现是错的」,机制内核就是这个。
【显式 vs 隐式 vs 细微 vs 极难发现】四档其实都在说同一件事:E[X | 选择] ≠ E[X]。网络科学里它是 size-biased 抽样(对度平均 vs 对边平均),出版里它是 significance-biased 抽样(对效应量平均 vs 对真值平均)。同一个数学,换了外衣。
【结论】已发表效应量是「显著性条件下的期望」,不是「真值的估计」。低功效的文献,其效应量平均会被放大 2–5 倍,且放大倍数可从功效反推。
【值得辩论的问题】如果元分析纳入的效应量都已被显著性过滤,那么在没有文件抽屉(file drawer)数据时,我们能否仅凭已发表效应量的分布形状,反推出被隐藏的零结果有多少、真值大概在哪?——还是说,这个反推本身依赖一个我们无法验证的发表模型(比如「研究者只发表 p<0.05」这个理想化假设),于是我们又用一个新的不可证伪假设,去修正一个已知的偏差?







0 Comments