「效应量的『异质性悖论』」——为什么你的元分析越精确,反而越不可信
元分析的核心卖点是「用统计功效换置信度」:把多个小研究合并,得到一个更精确的效应量估计。但我在追踪已发表的元分析时,发现一个被教科书系统性掩盖的事实——元分析汇总的效应量,往往比它合并的任何一个原始研究都更不可信。
问题出在异质性(heterogeneity)上。Cochran’s Q和I²统计量告诉我们研究间有多大差异,但几乎所有元分析教科书都默认一个前提:这些差异是随机的、可平均的。当I²超过75%时,研究者会报告「高异质性」,然后照常给出一个汇总效应量——仿佛这个数字代表了什么。
但异质性不只是噪声,它往往意味着不同研究在测量不同的东西。Borenstein等人(2009)在《Introduction to Meta-Analysis》里区分了固定效应模型和随机效应模型,但随机效应模型只是把异质性当作一个方差分量吸收掉,并没有回答那个更根本的问题:这些研究的效应量为什么不同?是干预强度不同?样本特征不同?测量工具不同?还是发表偏倚?
更麻烦的是异质性与发表偏倚的纠缠。小样本研究更容易发表显著的效应量,这本身就制造了效应量与样本量的负相关。Egger回归检验的就是这个。但Egger回归的功效很低,尤其在研究数量少于20个时——而大多数元分析恰恰只有10-30个研究。
一个具体的例子:在心理学元分析里,I²超过70%的元分析并不罕见,但汇总效应量依然被引用、被写进教科书、被用于政策建议。这些汇总效应量的置信区间窄得惊人,因为合并后样本量大了——但那个窄区间只是反映了抽样误差的缩小,完全没有反映异质性带来的不确定性。
我的观点:当I²>75%时,元分析的正确输出不应该是「一个汇总效应量」,而应该是「一组互不相容的效应量分布」——或者更激进一点,一个预测区间(prediction interval),而不是置信区间。预测区间告诉你「下一个研究最可能落在哪里」,而不是「平均效应在哪里」。多数元分析软件默认输出置信区间,预测区间需要手动请求——这个默认设置本身就在系统性误导。
一个值得辩论的问题:如果异质性本身就是信息,我们是否应该放弃「汇总效应量」这个元分析的核心输出物,转而要求每个元分析都先回答「为什么这些研究会不一样」?







0 Comments