「显著的效应量必然偏大」:条件于 p<.05 的赢家诅咒,以及为什么预注册治不了它
层叠起来,接近 2 倍。这不是丑闻,是条件分布的算术。
【细微·自我修正】我上一段给的膨胀表在中等功效处偏低。用逆 Mills 比精确算(双侧 α=.05,E[Z|Z>c] = μ + φ(c−μ)/(1−Φ(c−μ))):功效 .17 → 2.5×;.32 → 2.1×;.52 → 1.8×;.70 → 1.5×;.80 → 1.35×;.90 → 1.20×。Gelman & Carlin (2014, Perspectives on Psychological Science, “Beyond Power Calculations”) 的 Type M 表给同量级:功效 .2 → 3.0×,.5 → 1.7×,.8 → 1.3×,.9 → 1.2×。差异来自他们对 |d̂| 取绝对值并条件于同号。用哪张表都行,结论不变:低功效领域读到的效应量系统性偏大 2–3 倍。
【极难发现】这才是预注册治不了它的原因。预注册切断的是「分析自由度 → p 值」这条路径:它保证 p<.05 这个筛选闸门是诚实的、没被人为操纵。但它不改变闸门本身。只要你仍然用「p<.05」作为「这个发现值得发表/值得相信」的准入条件,条件期望 E[effect | p<.05] 就仍然是膨胀的。预注册让你诚实地通过一个偏倚的过滤器。过滤器不改,出口的分布不改。
【流程节点链路·为什么预注册不够】:真实效应 d → 抽样得到 d̂ ~ N(d, σ_d) → 显著性闸门 p<.05 → 只有超过临界值的样本被报告 → 报告效应量的期望 E[d̂ | significant] = d × 膨胀倍数(功效的函数)→ 读者把 E[d̂|sig] 当作 d 的估计 → 系统性高估。预注册只作用于第 3 步(保证闸门未被操纵),完全不作用于第 4 步(闸门本身的选择效应)。终点不变。
【显式】那么什么真的能治?三条,按有效性排序:
-
【设计层】功效分析不要用「文献里的效应量」当输入——那个数本身已经膨胀了。用最小感兴趣效应(SESOI)反推样本量。如果你认为 d=0.2 才有实践意义,就按 d=0.2 算 n,而不是按文献报的 d=0.5 算。这一步把功效从 0.35 拉到 0.8,膨胀倍数从 1.7 降到 1.35。这是唯一从源头改分布的做法。
-
【报告层】报告置信区间,不把点估计当作「效应大小」。Simonsohn (2015, “Small Telescopes”, Psychological Science) 更进一步:用 CI 的宽度反推这个研究能可靠探测到的最小效应,公开声明「我这个 n 只能排除 d<0.3」。这比一个「d=0.5, p=.03」诚实得多,因为后者隐藏了它只排除了 d<0.1 这个事实。
-
【聚合层】用元分析做收缩(shrinkage),而不是把单篇当结论。但即便用 PET-PEESE 或三参数选择模型校正,前提也是要有足够多、功效不太低的原始研究。如果每篇功效都 0.2,元分析只是在平均一堆膨胀值。
【隐式】一个反直觉的推论:提高功效比消除 p-hacking 更能修复效应量估计。Gelman & Carlin 把这个叫 Type M error(量级错误)和 Type S error(符号错误):功效 0.2 时,即使结果显著,符号错误的概率仍有约 12%,量级错误中位数是 3 倍。p-hacking 是被骂得最多的,但它是二阶问题;一阶问题是 n 太小。
【细微】还有一个常被忽略的细节:这个膨胀对「真实零效应」不适用。如果真实 d=0,条件于显著的结果全部是假阳性,膨胀倍数是无穷大(除以零)。所以「已发表效应量平均偏大 1.7 倍」这个说法隐含假设了真实效应非零。混合了真假效应的文献,膨胀会更严重,因为假阳性贡献的是纯噪声的大值——它们不是「偏大的真值」,是「无真值可偏」。
【极难发现】最后一个盲点:复现研究自己也会被赢家诅咒打击,而且是反向的。当你用原始研究那个膨胀过的效应量做功效规划时,你的复现研究功效被高估,于是复现出来的效应量又膨胀一次——但这次是朝「更接近零」的方向,因为你的检验更可能落在临界附近,而临界附近的样本恰好是低值被筛上来的。这解释了为什么复现效应量往往「恰好」是原始的一半而不是四分之一:不是原研究造假,是两次条件期望的乘积。
【结论锚点】「显著的效应量偏大」不是研究者的道德失败,是条件分布的数学必然。预注册是好东西,但它修的是闸门的诚实性,不是闸门的偏倚性。要修偏倚性,只有两条路:把 n 做大,或者把「显著」从准入条件里拿掉。
【待验证点】我上面引的「复现效应量中位数约为原始一半」,Open Science Collaboration (2015) 报的是 r 的中位数从 .403 降到 .197(约 49%),d 的口径略有不同。要用这个数字请核对原文 Table 1,不要引二手综述。
【辩论问题】如果效应量膨胀是功效的确定性函数,那么「报告效应量」这件事在低功效领域是否有意义?一个更激进的主张:低功效领域应该禁止报告点估计效应量,只允许报告 CI 和「本设计能排除的最小效应」。你同意吗——还是说,隐藏点估计反而让读者失去了做收缩估计的原料?







0 Comments