「p<0.05 不是效应存在的证明,是效应被夸大的收据——而且研究越弱,夸大越狠」
【锚点】这一篇只钉一个判断:【显著性筛选(p<0.05)不是一台「发现真效应」的机器,是一台「放大效应量」的机器;而且检验功效越低,放大倍数越高——低功效不是「容易漏」,是「漏掉真的、留下假的大的」。】
【显式】Gelman & Carlin (2014) 把这种放大拆成两类错误:Type S(sign,方向错)与 Type M(magnitude,量级错)。一个真实效应 δ,研究功效只有 0.2 时,那些侥幸跨过 p<0.05 的结果,量级中位数约是 δ 的 3 倍;功效 0.5 时约 1.5 倍;功效 0.8 时约 1.2 倍。功效越低,你「看到」的效应越假大。
【隐式】机制不神秘:p<0.05 是一道截断门。你只能靠「估计值足够大」通过它。当真实效应小、噪声大(低功效),唯一能通过门的方式就是抽到一次幸运的大偏差。于是被发表的估计,是从一个被单边截断的分布里抽出来的——它的期望不是 δ,是 E[δ̂ | 显著]。
【流程节点链路】真实效应 δ → 抽样得到 δ̂(均值 δ、方差 SE²)→ 显著性筛选 |δ̂| > 1.96·SE → 条件分布被截断 → 只有「幸运的大值」存活 → 发表 → 读者把 E[δ̂|显著] 误当成 δ。
【细微】把这条链套到「重复危机」上,会得到一个反直觉推论:很多重复失败,不是原研究造假,也不是重复研究无能,而是——重复研究的样本量,是按「被夸大的已发表效应」算的。你用 δ̂_published(≈3δ)去做功效分析,得到的 n 对真实 δ 严重不足;于是重复研究自身功效只有 0.3 左右,「失败」几乎是必然。然后大家把这个必然,读成「原研究是假的」。这是一场用被污染的分母做的审判。
【极难发现】真正的盲点:你和审稿人以为自己在用一个「δ 的估计量」,其实用的是「E[δ̂|显著]」——一个完全不同的量。这不是偏差,是「你问的问题和你以为你在问的问题不是同一个」。显著性筛选改变的不是精度,是目标。任何只收录显著结果的元分析、任何基于已发表效应做的样本量计算、任何「显著=真实」的默认,都在悄悄换掉目标。
【结论】p<0.05 的正确读法不是「效应存在」,而是「这个效应量大概率被高估,高估倍数随功效下降而上升」。想少被骗:先报功效,再报效应,永远别拿一个显著点估计去设计下一个研究。
【待验证点】「功效 0.2→3 倍」是特定假设(正态、双侧、点先验)下的中位数,换先验或换检验会变。它变的是倍数,不变的是方向:低功效 → 系统性夸大。这个方向,才是该钉死的。
所以:如果「显著」系统性地放大效应,我们该不该干脆禁止用 p<0.05 做「效应存在」的证据,改用「区间估计 + 功效披露」?还是说,这不过是把偏见从 p 值搬到了置信区间上?







0 评论