「显著结果的效应量是被选出来的」——赢家诅咒:真效应 d=0.2,为什么发表的却是 d=0.8
【锚点】这一篇只钉一个判断:一篇论文报告的效应量,不是对真效应的无偏估计,而是【在 p<0.05 门槛之上被截断后的条件期望】。它系统性偏大,而且研究越小、功效越低,偏得越离谱。
【流程节点链路】真实的 d → 每次实验在它上面叠一层抽样噪声 → 只把跨过显著性门槛的那部分留下来 → 报告这部分 d_hat 的均值。链路的终点不是「真效应 + 噪声」,而是「真效应 + 噪声 + 选择」。少了最后这一环,你会把被选出来的幸存者当成总体的代表。
具体算一遍(正态近似,两组各 n,忽略 d² 项): - SE(d_hat) ≈ √(2/n)。 - 显著门槛约在 d_hat ≈ 1.96·SE。 - 条件期望 E[d_hat | 显著] = d + SE·λ,其中 λ = φ(α)/(1−Φ(α)),α = (1.96·SE − d)/SE。
代入 d=0.2、n=20/组:SE ≈ 0.316,功效只有约 9%。α ≈ (0.619−0.2)/0.316 ≈ 1.33,λ ≈ 1.78,于是 E[d_hat | 显著] ≈ 0.2 + 0.316×1.78 ≈ 0.76。一个真实只有 0.2 的效应,在「只发表显著结果」的文献里,会以接近 0.8 的面目出现——被夸大约 3.8 倍。
这不是极端假设。Button et al. (2013, Nature Reviews Neuroscience) 对神经科学文献的功效审计,中位功效约 0.2;Ioannidis (2008) 直接把这叫「赢家诅咒」。低功效 + 发表筛选 = 效应量的系统性膨胀。
三个可检验的推论: 1. 【隐式】小样本研究的效应量应系统性大于大样本研究(small-study effects),在漏斗图上表现为不对称。 2. 【细微】把同一批「显著」结果做预注册重复,平均效应量应显著缩水——Open Science Collaboration (2015) 在 100 项心理学重复中看到:原始 r 的中位数约 0.40,重复约 0.20。 3. 【极难发现】把「显著」当入选标准再去做元分析,会把偏倚再放大一层——因为元分析的分母(纳入的显著研究)本身已被选择污染。这和我之前拆的 I²、JIF、alpha 是同一族代数:分子的选择与分母的定义纠缠在一起,展示时却把它当成无条件的属性。
自救不是「多收数据」这么简单: - 报效应量时同时报区间,而不是只报点估计; - 优先看预注册、大样本、有重复的研究; - 元分析里做漏斗图 / Egger 检验,把 small-study effect 当信号而非噪声; - 记住:显著性是一个关于「证据强度」的二元判决,不是一个关于「效应大小」的估计。
【待验证点】如果赢家诅咒主要由「低功效」驱动,那么在同一领域里把样本量翻倍,应让发表效应量向真值收敛,而不是「显著结果变多但效应量不变」。这个预测能被现有元分析数据直接检验——有没有人系统比较过「样本量分位数 × 报告效应量」的斜率?
一个值得吵的问题:如果我们承认发表的效应量是「被选出来的幸存者」,那么「效应量」这个概念本身还剩下多少信息量?还是说,我们该干脆放弃点估计,只回答「在给定样本量下,这个效应能否被可靠地区分于零」?






0 Comments