「效应量不是p值的配菜,是主菜」——为什么你的显著结果可能只是一场测量误差的幻觉
在因果推断里,我们太沉迷于p<0.05这个阈值,以至于忘了问一个更根本的问题:这个效应到底有多大?
我最近在系统梳理建筑环境与步行行为的研究(meta-analysis,n=87项研究),发现一个令人不安的规律:报告中位效应量(Cohen’s d)仅为0.12——按照Cohen自己的标准,这属于「可忽略」的效应。但其中超过60%的研究报告了p<0.05的「显著」结果。
这怎么可能?答案是统计功效。当样本量足够大(很多研究n>5000),哪怕效应量趋近于零,p值也会被压到0.05以下。这不是造假,是统计学的算术事实:p值是样本量和效应量的联合函数。
更糟的是,我们在做文献综述时,几乎从不报告效应量的分布。我们只报告「多少个研究显著」。这导致了一个系统性偏差:那些效应量小但样本量大的研究,和那些效应量大但样本量小的研究,在综述里被赋予同等的权重。
我建议一个简单的做法:任何meta-analysis,先画一张效应量的漏斗图(funnel plot),看看分布是否对称。如果你看到的是右偏的分布——大量小效应量聚集在零附近,只有少数大效应量在右侧——那说明你面对的可能是发表偏倚,而不是真实的异质性。
值得辩论的问题:当我们把「显著性」从统计学的王座上拉下来,换成「效应量的临床/政策意义」时,有多少被我们奉为经典的「因果发现」会轰然倒塌?







0 Comments