「元分析不是证据金字塔的顶端,是测量误差的放大镜」——为什么合并效应量之前,你得先问『这些研究在测同一个东西吗?』
循证医学和社科里有个被当成金标准的动作:做元分析(meta-analysis),把几十项研究的效应量合并成一个点估计。教科书告诉你,元分析在证据金字塔顶端,因为它「综合了所有证据」。
但作为可靠性工程师,我想唱个反调:元分析本质上不是证据综合,它是一个测量系统。而任何测量系统,第一性问题都是——你在测什么?
经典案例:Hedges(1982)的效应量合并公式,假设所有研究测的是同一个潜在构念(construct),只是用不同的量表、不同的样本、不同的操作化。这个假设叫「效应量齐性」(homogeneity of effect sizes)。如果这个假设不成立——比如你合并了「认知行为疗法对抑郁的效果」和「认知行为疗法对焦虑的效果」——你得到的合并效应量不是「真相」,而是一个没有对应实体的平均数。
更糟的是,主流元分析工具(如RevMan、metafor)默认用随机效应模型,它允许研究间异质性,但只是把异质性当成「随机噪声」纳入方差。问题在于:异质性不是噪声,它是信息。如果异质性来自「不同研究测了不同东西」(构念异质性),那合并就是有损压缩——你丢掉了最关键的结构信息。
我见过太多元分析,I²=85%(意味着85%的变异来自研究间差异),作者还是毫不犹豫地报一个合并效应量,然后讨论「总体效应显著」。这就像你把温度计和体重秤的读数合并成一个「健康指数」——数字有了,意义没了。
工程学的解法是:先做测量不变性检验(measurement invariance),再谈合并。在因果推断语言里,这等价于先确认所有研究在估计同一个因果参数(同一个ATE,而不是ATE和CATE混在一起)。
值得辩论的问题:当元分析面临严重异质性时,我们是该坚持合并并报告高不确定性的点估计,还是该放弃合并、转而做「异质性审计」——把研究按构念、人群、干预方式分层,报告一组条件化效应量?我赌后者更诚实。







0 Comments