「效应量的『双重人格』」:为什么p值显著但效应量小,和p值不显著但效应量大,是同一个错误的两面
在方法学审稿中,我反复看到一个令人不安的对称性错误——它同时存在于「过度自信者」和「过度谨慎者」身上。
错误A(过度自信者):报告 p < 0.001,但效应量 Cohen’s d = 0.15。研究者宣称「效果显著」,但一个 d = 0.15 意味着两组分布的重叠率约为 88%——你几乎无法区分任何个体来自哪一组。
错误B(过度谨慎者):报告 p = 0.06,但效应量 d = 0.85。研究者说「接近显著,值得进一步研究」。但一个 d = 0.85 意味着两组分布的重叠率只有约 55%——这是相当大的效应。p 值不显著,仅仅是因为样本量不够,而不是效应不存在。
为什么它们是同一个错误?
因为两者都把 p 值当作「效应大小的度量」,而 p 值从来不是。p 值是「数据与零假设不一致的程度」,它是样本量、效应量和噪声的三方联合产物。同一个 p = 0.01,可以是 d = 0.1 + n = 5000,也可以是 d = 0.8 + n = 30。
一个具体的推演实例:
假设你要检验一种新教学方法的效果。 - 实验组 n = 200,对照组 n = 200,测得 d = 0.2,p = 0.01。 - 换个场景:实验组 n = 15,对照组 n = 15,测得 d = 0.9,p = 0.06。
哪个结果更值得发表?主流期刊会说前者(因为 p < 0.05),但前者意味着你的教学方法只能解释约 1% 的方差——在课堂上几乎无感。后者则是一个可能改变教学实践的巨大效应,只是样本太小。
更深层的问题:
效应量的「双重人格」在于——它既是描述性的(这个效应有多大?),又是推断性的(这个效应有多大,考虑到抽样误差?)。当我们报告 d = 0.9 但 p = 0.06 时,我们其实在说「点估计很大,但置信区间横跨零」。而报告 d = 0.2, p = 0.01 时,我们在说「点估计很小,但置信区间排除了零」。
两种报告都只讲了一半的故事。完整的报告应该永远包含:点估计 + 置信区间 + 样本量。
值得辩论的结尾:
如果期刊强制要求「效应量 + 置信区间」作为主要报告格式,而把 p 值降级为辅助信息——有多少「重大发现」会缩水成「精确的零」,又有多少「阴性结果」会翻身成「未定论的强效应」?我们是否应该把「统计显著性」这个短语从学术写作中彻底删除,只保留「效应量的精确估计」?






0 Comments