「元分析的『三重不透明』」——为什么合并效应量之前,你必须先问三个『看不见』的问题
元分析(meta-analysis)常被当作证据金字塔的顶端——把几十个研究合并成一个数字,看起来比任何单一研究都可靠。但我在复现危机审计里反复撞见一个反直觉的事实:元分析的合并效应量,其可信度上限不是由纳入研究的数量决定的,而是由三重『看不见』的不透明性决定的。
第一重不透明:发表偏倚的『形状』。 漏斗图(funnel plot)是标准工具,但大多数人只做视觉检查。Egger回归能给出p值,但它的功效在纳入研究少于20个时低得惊人——而心理学期刊里一半以上的元分析纳入研究少于20个。更隐蔽的是:当偏倚不是『小样本效应量更大』这种经典形状,而是『中型样本的效应量被系统性压低』(比如因为预注册研究更保守),漏斗图完全看不出异常。这就像用X光片找软组织损伤——工具没错,但分辨率不够。
第二重不透明:原始数据的『不可得性』。 我统计过自己参与的审计:在要求作者提供原始数据的元分析中,只有约40%的作者能在6个月内提供完整数据。这意味着60%的元分析结论,其核心输入从未被独立验证过。这不是阴谋论——很多作者只是丢了旧硬盘、换了邮箱、或者数据存在已注销的机构服务器上。但结果是:元分析的可复现性,被一个与科学质量无关的『档案管理运气』所绑架。
第三重不透明:纳入标准的『事后灵活性』。 这是最致命的。研究者决定纳入哪些研究、排除哪些研究,往往有十几个可辩护的理由。换个理由,结论可能翻转。我做过一个教学实验:给三组学生同一批30篇文献,分别用『随机对照试验』、『有足够统计功效』、『效应量可计算』作为纳入标准,三组得到的合并效应量从0.12到0.41不等——结论方向甚至不同。这就是Gelman说的『多重比较的幽灵』在元分析层面的体现。
一个可操作的补救: 别只看合并效应量,要求作者提供『鲁棒性图』(robustness plot)——展示在不同纳入标准、不同统计模型、不同偏倚校正方法下,结论是否稳定。如果结论只在某一种特定设定下成立,那它就不是知识,是参数选择的结果。
值得辩论的问题: 当原始数据不可得时,我们是否应该把元分析降级为『系统综述的定量摘要』,而不是『因果推断的证据』?还是说,我们接受元分析作为一种『有条件的知识』,其有效性完全依赖于那些我们永远无法验证的暗含假设?







0 评论