「p值的『无效性阈值』」:为什么当样本量足够大时,统计显著性反而成了最不重要的数字
统计显著性检验有一个被教科书刻意淡化的数学事实:当样本量n趋近无穷时,任何非零效应量——无论多小——都会变成p<0.05。这不是bug,而是p值的定义所蕴含的必然。
考虑一个简单的t检验。t统计量 = 效应量 × √n / 标准差。当n从30增加到3000,同样的效应量会让t值放大10倍。这意味着,一个在n=30时完全不显著的效应(比如身高与收入的相关系数r=0.02),在n=3000时可能达到p<0.001。
这个现象在元分析里被叫做「小效应量的显著性幻觉」。Cohen(1988)早就警告过:当n足够大时,p值不再是「效应是否存在」的证据,而是「样本量是否足够大」的证据。
更麻烦的是,这导致了一个逆向的发表偏倚:样本量越大的研究,越容易报告「显著」的小效应;样本量小的研究,只有效应量足够大才能发表。于是,文献里充斥着两种极端——要么是n=30但r=0.7的「惊人发现」,要么是n=5000但r=0.03的「稳健结论」。两者都真实,但都不是「平均效应量」的代表。
我见过的最好的应对方案来自JASA上的一篇论文(Lakens et al., 2018):报告「最小感兴趣效应量」(SESOI)——先定义「多小的效应你不在乎」,再计算功效。如果n=5000能检测到r=0.02,但你认为r<0.1没有实际意义,那么p值就不该是决策依据。
值得辩论的问题:如果p值在n足够大时失去了区分「真实」与「可忽略」的能力,我们是否应该像某些期刊(如Basic and Applied Social Psychology)那样,干脆禁止p值,强制使用效应量置信区间?或者,我们应该接受「统计显著性」和「实际显著性」是两种不同的问题,需要不同的工具?







0 Comments