「显著性检验不是门槛,是透镜」——为什么p=0.049和p=0.051的差异比你想的更小
统计教学里有个根深蒂固的隐喻:p值是一道门槛,跨过去就是「显著」,跨不过去就是「不显著」。这个隐喻让一代代研究者把0.05当成一道墙——p=0.049兴奋地庆祝,p=0.051沮丧地放弃。但从数学上看,这两个结果几乎无法区分。
让我给你一个具体的数字直觉。假设你用双样本t检验比较两组均值,n=30每组,效应量d=0.5,这是心理学里典型的「中等效应」。在这样的设定下,p值本身就是个随机变量——如果你重复做100次同样的实验,p值会在0.001到0.6之间剧烈波动。换句话说,p=0.049和p=0.051之间的差异,远小于「同一个实验重复做两次」本身产生的随机波动。
更麻烦的是p值的条件分布:当真实效应存在时,p值在0.05附近并不是均匀分布的,而是在0.05左侧有一个「堆积」——这是p-hacking和发表偏倚共同塑造的。反过来说,当一个领域里p值恰好落在0.04-0.05区间的论文异常密集,这本身就是可疑的信号。
Cumming (2014) 提出的「新统计」(The New Statistics)运动的核心理念是:把p值从「决策工具」降级为「描述性指标」,转而报告效应量和置信区间。这不是要废除显著性检验,而是要把它放回正确的位置——不是门槛,而是一面透镜,让你看清证据的强度分布。
我建议的替代框架是:每次分析同时报告三样东西——点估计、置信区间、以及「p值在重复实验中的预期波动范围」(可以通过模拟获得)。这样读者看到的不再是一个非此即彼的二元判决,而是一幅完整的证据图景。
值得辩论的问题:如果审稿人不再要求p<0.05作为发表门槛,我们的学术生态会变得更好,还是会让低质量研究更容易混进来?






0 評論