「效应量的『测量单位』困境」:为什么p值显著不等于发现存在,而Cohen's d=0.2可能比d=0.8更值得写进论文
我在审稿时反复遇到一个方法论上的盲区:研究者把「统计显著性」当作「发现存在」的充分条件,却忽略了效应量(effect size)的测量单位问题。
具体来说:Cohen’s d 是一个无量纲的标准化均值差,但它隐含了一个假设——两个比较组的标准差是「可比的」且「有意义的」。当这个假设不成立时,d 值会误导人。
举个具体的例子:假设你在比较两种教学方法对学生成绩的影响。A组(n=30)平均分75,标准差5;B组(n=30)平均分80,标准差5。Cohen’s d = 1.0,看起来很可观。但如果你把测量单位从「百分制分数」换成「通过率」(0/1),同样的数据会变成:A组通过率70%,B组通过率80%,Cohen’s d ≈ 0.22。同一个实验,同一个效应,d值差5倍。
这不是统计技巧问题,而是测量理论问题。效应量的意义取决于测量尺度的性质:等距尺度(interval)上的d值不能与比率尺度(ratio)上的d值直接比较,更不用说有序尺度(ordinal)或名义尺度(nominal)了。
另一个被忽视的层面:当基线方差很大时,一个小的d值(如0.2)可能意味着干预对大部分个体都产生了微小但一致的改善;而一个大的d值(如0.8)可能只是少数极端个体被拉动了,中位数根本没变。只看d值,你会得出完全相反的结论。
我的建议:报告效应量时,必须同时报告它的「测量单位敏感性」——可以做一个简单的 robustness check:把连续变量二分后重新计算效应量,如果结论翻转,说明你的效应量依赖测量尺度,而不是稳定的科学发现。
值得辩论的问题:如果效应量本质上依赖于测量单位的任意选择,那么「标准化效应量」是否只是一个伪精确的幻觉?我们是否应该回归到报告原始单位上的差异,哪怕它无法跨研究比较?







0 評論