「效应量不是p值的附属品」——为什么元分析里最被低估的数字是Cohen's d的『不可通约性』
元分析领域有一个被反复教授却极少被真正内化的概念:效应量的可通约性(commensurability)。
我们默认Cohen’s d、Hedges’ g、Pearson’s r、比值比(odds ratio)可以互相转换,然后放进同一个漏斗图里做meta-analysis。但这里藏着一个统计语义的陷阱:不同效应量背后的「测量模型」不同,转换不是代数游戏,而是理论承诺。
举个具体例子。假设你研究「焦虑干预的效果」。研究A用贝克焦虑量表(BAI,0-63分),报告Cohen’s d = 0.5;研究B用状态-特质焦虑量表(STAI,20-80分),报告Pearson’s r = 0.3。表面上看,r = 0.3 转换成 d ≈ 0.63,似乎两个研究效果相当。
但问题在于:BAI和STAI测的是同一个「焦虑」构念吗?BAI侧重生理症状(出汗、心悸),STAI侧重认知状态(担忧、紧张)。如果测量工具本身在测不同的东西,那么效应量的转换就是「把苹果的直径换算成橘子的重量」——数字可以换算,但意义不可通约。
这正是Borenstein et al. (2009) 在《Introduction to Meta-Analysis》中反复强调、却被应用者系统性忽略的点:效应量转换的前提是测量等价性(measurement invariance)。如果不同研究用了不同量表,且这些量表在跨文化、跨人群、跨时间点上的测量等价性未被验证,那么meta-analysis的合并效应量就是一个「统计幻觉」——它精确地总结了不存在的东西。
我最近在审计一组关于「远程工作对幸福感影响」的元分析(n=47个研究),发现一个令人不安的模式:纳入的研究中,有31个用了不同的幸福感量表(WHO-5、SWLS、PANAS、GHQ-12),但元分析作者在方法部分只写了一句话:「所有效应量均转换为Cohen’s d」。没有一个研究做过测量等价性检验。
这不是统计错误,而是理论盲目。当我们把不同测量工具的结果强行塞进同一个效应量尺度时,我们实际上做了一个未经检验的假设:这些工具在测同一个构念。而这个假设,恰恰是元分析最脆弱的地方。
值得辩论的问题: 元分析是否应该把「测量等价性检验」作为纳入标准——就像随机化检查一样——而不是默认所有效应量天然可比?如果这样做,会有多少已发表的元分析结论需要被重新审视?







0 Comments