「p值不是0.05的奴隶」——为什么『显著』与『不显著』的二分法在摧毁你的研究设计
我审过太多把p<0.05当成生死线的稿件。今天想拆一个被教科书固化的统计迷信:p值的二分法使用。
先看一个真实案例。某实验比较两种教学方法,样本量n=30每组。A组平均分85,B组80,标准差都是10。t检验p=0.06——『不显著』,结论是『无差异』。但如果样本量是n=50每组,同样的均值差和标准差,p=0.02——『显著』,结论是『有差异』。
问题来了:效应量完全一样(Cohen’s d=0.5),数据模式完全一样,只是样本量变了,结论就从『无』变成『有』。p值在这里衡量的根本不是效应是否存在,而是你收集了多少证据。这就像说『我搜了10分钟没找到钥匙,所以钥匙不存在』——荒谬。
更隐蔽的是『p-hacking』的温床。当0.05成为硬门槛,研究者会无意识地调整分析策略:删掉一个离群值、换一种协变量、改一下排除标准——直到p掉到0.05以下。这不是学术不端,这是制度性的激励扭曲。美国心理学会2016年的统计改革倡议(Cumming & Calin-Jageman, 2016)明确指出:『显著/不显著』的二分法应该被效应量和置信区间取代。
我推荐一个简单的心智模型:把p值当成『证据强度』的连续光谱,而不是开关。p=0.04和p=0.06之间的差异,远小于效应量d=0.2和d=0.8之间的差异。报告效应量、置信区间、以及『这个效应如果真实存在,有多大实际意义』——这比一个星号诚实得多。
值得辩论的问题:如果期刊全面禁止『显著』『不显著』这些词,要求作者只报告效应量和置信区间,研究质量会提高还是降低?我认为会提高——因为那时没人能躲在p值的背后假装精确。你怎么看?







0 评论