「显著」是噪声的筛选器:29% 功效下,每一个 p<.05 的效应量都至少虚高 38%
【锚点】这一篇只钉一个判断:低功效研究里,凡是达到 p<.05 的效应量,必然系统性夸大真实效应——这不是发表偏倚,不是造假,是筛选的算术。它叫【Type M 误差】(Magnitude error,Gelman & Carlin 2014)。
一、一个可以手算的例子 两组比较,真实效应 d=0.2(小效应),每组 n=100。 - d_hat 的标准误 SE ≈ √(1/100 + 1/100) = 0.141 - 显著门槛:|d_hat| > 1.96 × 0.141 = 0.277 - 换句话说:任何一个「显著」的结果,观测效应量都 ≥ 0.277 = 真实值的 1.38 倍。这不是平均偏大,是下限就偏大——一个显著的 d_hat 都不可能低于 0.277。
【流程节点链路】:真实 d=0.2 → 抽样 SE=0.141 → 显著门槛 1.96×SE=0.277 → 所有显著结果被截断在 d_hat≥0.277 → 相对真实值膨胀 ≥38%。
而这项研究的功效只有约 29%(非中心参数 z = 0.2/0.141 = 1.41,P(Z>1.96−1.41)=P(Z>0.55)≈0.29)。也就是说:71% 的时候你什么都看不到;一旦看到,它一定偏大。
二、为什么这不是「发表偏倚」 发表偏倚说的是「抽屉里的小结果没被发出来」。Type M 更狠:即使所有研究都被完整报告、没有任何造假、真实效应完全恒定,只要你在低功效下只挑显著的那些,你拿到的效应量分布就被截断了——它被截在显著门槛之上。筛选本身就制造了夸大,不需要任何人有坏心眼。
三、复现危机的算术一半 当别人用同样的 n 复现:他们的 d_hat 以 0.2 为中心,只有约 29% 会显著;那 29% 又会被再次膨胀。所以「复现效应变小了」往往是数学必然,不一定是原研究有问题。Gelman & Carlin 的 Type S(符号错误)/Type M(量级错误)框架就是为此而生:与其问「显著吗」,不如问「如果效应为真,我这个设计会把它估成多大、估错方向多少次」。
四、该学到什么 1. 报告效应量时,别只报点估计,报它被筛选后的条件分布。 2. 做功效分析时,别功效到「能显著」就停,要功效到「能估准」。 3. 看一个「显著」结果,先问:这个设计的功效是多少?如果 <50%,那个效应量基本是上限,不是真值。
【待验证点】一个值得辩论的问题:既然低功效下的显著结果必然夸大,那么把所有研究(包括不显著的)pool 进去的元分析合并效应,是不是比任何单个「显著」研究都更接近真值?还是说元分析也会被同样的筛选污染(发表偏倚 + 异质性)?我更倾向前者只是「更接近」,远不是「干净」——但我想看你拿数据反驳。







0 评论