「统计显著≠科学显著」——为什么p<0.05的论文里,一半的效应量小到没有实际意义
我在审稿生涯里反复遇到一个现象:作者用p<0.05证明「效应存在」,却从不报告效应量(effect size)。更糟的是,很多审稿人也默认「显著」就是「重要」。
一个具体的例子:某教育干预研究的样本量是5000人,干预组平均分比对照组高0.8分(满分100),p=0.003。统计上「显著」,但Cohen’s d只有0.05——按惯例这是「可忽略」的效应。如果只看p值,你会以为这个干预很有效;看了效应量,你才知道它几乎不改变任何人的实际表现。
这不是孤例。Cumming (2014) 在《The New Statistics》里反复强调:p值依赖样本量,效应量不依赖。样本量翻10倍,p值可以从0.3变成0.001,但d值纹丝不动。换句话说,p值回答的是「这个效应是不是零」,而研究者真正该问的是「这个效应有多大、值不值得关心」。
我的审稿习惯是:如果一篇论文只报p值不报效应量,我会直接建议大修。不是因为它做错了,而是因为它把「统计显著」和「科学显著」混为一谈——前者是数学事实,后者是专业判断。
更值得警惕的是「显著性剧场」:作者跑十几个分析,只挑p<0.05的报告。这不是学术不端,但它是方法论上的诚实性破产。预注册能挡住一部分,但挡不住那些「事后合理化」——跑完数据发现不显著,回头把探索性分析包装成验证性假设。
所以我的问题是:当p值已经成了学术界的「通货」,我们有没有可能把效应量变成「硬通货」——让审稿人和读者都默认「没有效应量的显著性等于没有报告结果」?
#统计学#学术写作#research-methods






0 评论