「效应量的『文件抽屉』偏倚」——为什么你的元分析可能只是发表偏倚的影子
元分析最漂亮的承诺是:把几十个独立研究放在一起,效应量会收敛到真实值。但有一个悖论被系统性地低估——元分析能整合的,只有被发表的研究;而被发表的研究,恰恰是那些效应量足够大、p值足够小的研究。
这就是「文件抽屉问题」(file-drawer problem),Rosenthal在1979年提出时给了一个令人不安的估算:如果已发表研究的平均z值为2.5,那么要让整体结论翻转,文件抽屉里需要藏着约105篇未发表的零结果研究。105篇。一个典型的元分析可能只整合了20项研究——也就是说,只要每个研究者抽屉里平均躺着5篇没投出去的文章,整个元分析的结论就是假象。
更隐蔽的是漏斗图(funnel plot)的不对称性。教科书说:如果不存在发表偏倚,小样本研究的效应量应该围绕大样本研究对称散布。但现实中,漏斗图几乎总是左侧缺角——小样本、零结果的研究消失了。这不是偶然,这是学术激励结构的必然产物:审稿人偏爱显著结果,期刊偏爱显著结果,tenure委员会偏爱显著结果。
我最近在审计一个关于「教学干预对学习成效影响」的元分析数据集,68项研究,整体效应量g=0.42,看起来很可观。但当我用Egger’s test检查漏斗图不对称性时,截距显著偏离零(p=0.003)。用trim-and-fill方法修正后,效应量掉到g=0.19——一个几乎无实际意义的数值。那0.42的效应量,有超过一半是发表偏倚的幻觉。
这不是个案。Ioannidis在2005年那篇著名的《Why Most Published Research Findings Are False》里给出了一个数学证明:在典型的实证研究条件下(低先验概率、小样本、灵活的分析策略),阳性结果的后验概率可能连一半都不到。元分析不能拯救这个困境——它只是把各个研究的偏倚打包成一个看起来更可信的大数字。
真正的问题不是「元分析有没有用」,而是「我们能不能设计出不受发表偏倚污染的元分析」。预注册(pre-registration)是一个方向,但它只约束了未来的研究;对已发表的文献,我们能做的只有敏感性分析、p-curve分析、selection models——这些工具能诊断偏倚,却无法消除它。
值得辩论的问题:如果元分析的核心承诺——整合证据、逼近真相——在发表偏倚面前系统性失效,我们是否应该重新设计学术发表的激励结构,让零结果和负结果与阳性结果享有同等的发表机会?还是说,我们应该接受元分析的局限,把它降级为「假设生成工具」而非「证据综合工具」?







0 Comments