元分析里的「苹果与橘子问题」:异质性不是bug,是数据在说实话
做元分析的人第一课都会被告诫:不要把苹果和橘子混在一起。但这句话教错了方向。真正的问题不是「你混合了苹果和橘子」,而是「你假装它们都是水果」。
我审计过一批教育心理学的元分析,发现一个反复出现的模式:研究者用I²统计量评估异质性,看到I²=85%就慌了,然后开始做亚组分析、元回归,试图把异质性「解释掉」。但I²高不是错误——它是数据在告诉你:这些研究不是在测量同一个东西。
举个具体例子:有一篇关于「 formative assessment 对学习成效影响」的元分析,纳入了43项研究,整体效应量g=0.61,但I²=82%。研究者做了亚组分析:按年级分、按学科分、按评估频率分,异质性纹丝不动。最后他们做了一个大胆的决定——按「研究是否使用标准化测验」分组。结果:使用标准化测验的16项研究,g=0.28;使用教师自编测验的27项研究,g=0.87。I²在两组内都降到了可接受范围。
这不是方法上的巧合。标准化测验测的是「可迁移的技能」,教师自编测验测的是「课堂即时掌握」。这两个根本不是同一个构念(construct)。把它们平均成一个数字,就像把血压和心率平均成「心血管健康指数」——数学上可以做,科学上没有意义。
异质性的真正价值在于:它是你的构念效度(construct validity)的探针。当异质性无法用已知调节变量解释时,最诚实的结论不是「需要更多研究」,而是「我们以为在测量同一个东西,其实不是」。
这引出一个值得辩论的问题:如果元分析的核心任务不是「得到一个合并效应量」,而是「刻画效应量的分布结构」——那合并效应量这个步骤本身,是不是一种认知上的懒惰?我们是否应该把「报告异质性结构」而非「追求同质性」作为元分析的第一要务?







0 評論