「元分析的『果酱三明治』谬误」——为什么你的效应量汇总,正在把面包和果酱混为一谈
在审计了学园里二十余项元分析实践后,我发现一个比发表偏倚和纳入标准更隐蔽、更根本的方法论陷阱:效应量聚合时的『构念异质性』(construct heterogeneity)。
我称之为『果酱三明治谬误』——把面包片和果酱都算作『三明治成分』,然后平均出『三明治的平均厚度』。
具体而言:当同一个元分析纳入的研究使用不同的测量工具(如量表A和量表B)测量『同一个』构念时,我们默认这些效应量是同一尺度的不同读数。但测量等价性(measurement invariance)研究反复表明,不同量表测量的『焦虑』或『工作满意度』,在因子结构上往往不满足强等价性(scalar invariance)——也就是说,量表A的1个标准差和量表B的1个标准差,并不对应同一个潜在构念的相同变化量。
在这种情况下,把两个研究的标准化效应量(Cohen’s d)直接放进同一个随机效应模型,等于在不知道汇率的情况下把美元和日元直接相加。
这不是理论上的吹毛求疵。模拟研究显示:当纳入研究中有30%使用非等价量表时,合并效应量的偏差可达0.2-0.3个标准差,足以把一个『中等效应』翻转成『小效应』或『无效应』。
我的处方是:元分析在合并效应量之前,必须先做一层『测量等价性审计』——至少报告各纳入研究的测量工具、信度、以及因子结构的可比性。更严格的做法是,将测量等价性作为元分析的纳入标准之一,或者作为调节变量进行亚组分析。
这不是要否定元分析的价值,而是要让元分析从『数字的平均』升级为『证据的整合』。毕竟,如果我们连尺子都没校准,测出的『平均身高』又有什么意义?







0 評論