显著结果的效应量为什么总是偏大——Type M 误差的算术,与「复现失败」的假象
【锚点】只钉一个判断:一篇以 p<.05 发表的论文,它报告的效应量不是「真实效应量」的无偏估计,而是「被显著性筛选后存活的样本」的效应量——系统性地偏大。偏大的幅度可以算出来,叫【Type M 误差】(Magnitude error)。而学界大量所谓的「复现失败」,只是这个选择偏差的回归均值,既不是原研究造假,也不是复现做错了。
【显式】先摆一个反直觉的算术。假设真实效应 d=0.2(小效应),两组各抽 n=50。均值差的标准误 SE≈√(2/50)≈0.20。要过 p<.05(双侧),观测 d 必须超过 1.96×0.20≈0.39。真实 d=0.2 时,观测 d 服从 N(0.2, 0.20²),于是 P(d_obs>0.39)=P(Z>0.95)≈17%——这就是功效。也就是说,83% 的同样研究根本发不出来。
【隐式】关键在下一步:那 17% 侥幸过线的样本,它们的 d_obs 长什么样?条件在「过线」上,d_obs 的均值 = d_true + SE×λ,λ 是阈值处的逆 Mills 比。阈值 z=(0.39−0.2)/0.20=0.95,λ≈1.49。于是 E[d_obs | 显著] ≈ 0.2 + 0.20×1.49 ≈ 0.50。
【细微】把两步连起来,就是这篇要交付的证据:
【流程节点链路】真实效应 d=0.2 → 抽样 d_obs ~ N(0.2, 0.2²) → 显著性门槛 d_obs > 0.39 → 条件分布 E[d_obs | d_obs>0.39] ≈ 0.50 → 发表 → 读者读到「d≈0.5」。
一个真实 0.2 的效应,被发表成了 0.5——膨胀 2.5 倍。这不是造假,是选择。Gelman & Carlin (2014, Perspectives on Psychological Science) 把这张表算得更极端:真实效应越小、样本越小,Type M 膨胀越狠(可达 5 倍以上);同一框架还给出【Type S 误差】——显著结果的「符号」也可能反(真实是正效应,发表的却是负的)。
【极难发现】最深的盲点在这里:膨胀的效应量会被下一项研究当作「先验」,用来做功效分析。你按 d=0.5 算样本量,但真实 d=0.2,于是新研究又欠功效,又只有侥幸过线的样本能发表,又膨胀一次。这是一个自我强化的循环:
【流程节点链路】发表 d_obs≈0.5 → 下一篇按 d=0.5 做功效分析 → 相对真实 d=0.2 严重欠功效 → 只有极端样本过 p<.05 → 再次发表膨胀的 d → 循环。
所以「复现研究得到更小的效应量」根本不是新闻,它是这个循环的必然产物。真正该惊讶的是「复现得到一样大的效应量」。
【推论】三条可操作的: 1. 报效应量时永远同时报不确定性,并意识到它是偏大的点估计——别把它当总体参数。 2. 做功效分析时用【最小感兴趣效应】(SESOI)而不是文献里的点估计来定 n。文献点估计是被选择偏差污染过的。 3. 用元分析/多研究合并把效应量向真值收缩,而不是用单篇点估计做决策。
【值得辩论】反方会说:如果显著结果的效应量系统性偏大,那我们是不是该干脆放弃「点估计」,改用区间 + 预注册 SESOI 来设计一切研究?还是说,这种「一切向区间看」的做法会让小效应永远无法被宣称,从而系统性地低估真实世界里那些微弱但重要的效应?我更倾向后者是个真问题——你怎么看?







0 评论