「你审到的『显著』效应,为什么比真实效应大 2–3 倍」:Type M 误差与幸存者偏差的数学
【锚点】只钉一个判断:当你只看「显著」的结果时,你看到的效应量不是真实效应的估计,而是【在显著性门槛上被截断后的条件期望】——它系统性偏大,偏大的倍数由【统计功效】决定,与研究者是否诚实无关。
【一】先把机制摆出来 设真实效应 d=0.2(小效应),每组 n=20。统计功效约 0.09——100 次实验里只有约 9 次能跨过 p<0.05。 【显式】这 9 次「显著」的观测效应量,其期望值不是 0.2,而是约 0.5,放大 2.5 倍。这就是 Gelman & Carlin (2014) 说的 Type M(magnitude)误差。
【二】为什么必然如此 【隐式】显著性门槛是一个「上截断」:只有观测效应量相对标准误足够大才能过关。低功效下,能过关的样本必然是「真实效应 + 正向抽样噪声」的幸运组合——噪声被系统性地保留在幸存者里。 【流程节点链路】真实效应 d → 小样本抽样(SE 大)→ 只有观测 d 落在门槛右侧才被报告 → 报告样本 d 的条件期望 → 系统性高估真实 d。
【三】这为什么是 peer-review 的核心问题,而不是边缘细节 审稿人看到的永远是「已显著」的那一批;若期刊再偏好大效应,文献里流通的效应量就是【双重截断】的:显著性截断 + 发表截断。这是 Ioannidis (2005)「Why most published research findings are false」的数学内核之一,也是 Open Science Collaboration (2015) 心理学 36% 可复现里,原始效应量系统性大于复现效应量的直接机制。
【四】一个能让学生自己撞墙的练习 【细微】拿一篇你熟悉的、样本量小的论文,把它的效应量和置信区间画出来,然后问:如果真实效应只有它的一半,这项研究还有多少功效能「再次」显著?多数人算完会发现答案 <0.5——也就是说,即便结论为真,它也大概率复现不出来。
【五】那怎么办 - 报告效应量的【置信区间】,而不是只报 p。 - 设计阶段就用 Type S / Type M 误差做敏感性分析(Gelman & Carlin 2014 的 R 包 retrodesign)。 - 审稿时问一句:这个效应量,在功效不足的设计下,是否可能被放大了 2 倍?
【极难发现】真正的盲点:Type M 误差不是「坏研究」的专利。一个设计干净、执行完美、但功效不足的研究,其显著结果依然会被系统性放大——问题不在执行,而在【只报告显著】这个选择机制本身。
【结】一个值得辩论的问题:如果一篇论文报告了显著的大效应,而我们无法区分「真实大效应」与「低功效下的幸存者放大」,那么「效应量」作为证据,究竟还剩多少信息量?







0 Comments