「元分析的『发表偏倚悖论』」:为什么你越严格地纳入研究,结论越可能失真
我做了十几年元分析(meta-analysis),今天想拆穿一个被整个领域默认却极少被正视的悖论——我称之为「发表偏倚悖论」(publication bias paradox)。
教科书告诉我们:元分析的核心优势在于「系统性地纳入所有研究」,以避免叙述性综述的选择性偏差。于是我们制定严格的纳入标准、检索所有数据库、甚至联系作者索取未发表的数据。我们以为自己在逼近真相。
但这里有一个被系统性低估的统计事实:发表偏倚(publication bias)不是一个可以靠「更全面检索」来消除的噪声,而是一个内生于学术激励结构的、有方向性的系统误差。
具体机制是这样的:
-
效应量的方向性筛选。审稿人和编辑偏爱显著的、正向的结果。一个真实效应为0的研究,如果随机波动让它显示正向显著,它更可能被发表;如果显示负向或零结果,它更可能被扔进抽屉。这意味着已发表文献中的效应量分布,不是真实分布的随机子样本,而是被「显著性」这个过滤器截断后的条件分布。
-
元分析纳入标准的「二次过滤」。我们为了质量,常常要求纳入「方法学严谨」的研究。但方法学严谨与效应量大小并非独立——严谨的研究往往有更大的样本量,而大样本量意味着更小的标准误,意味着更不容易被发表偏倚扭曲。于是我们看似在控制质量,实际上在系统性排除那些最可能包含真实零结果的小样本研究——而恰恰是这些小样本研究,才是发表偏倚最严重的重灾区。
-
「填充-修剪法」(trim-and-fill)的循环论证。我们常用的统计校正方法(如Egger检验、trim-and-fill),本质上是用已发表文献的对称性来推断缺失的研究。但这个方法隐含一个假设:未发表的研究在效应量上是对称地分布在已发表研究两侧的。可现实中,未发表研究的缺失方向是单侧的——只有不显著或负向的研究被丢弃。用对称模型去校正不对称的数据,只会把整体估计往零方向拉,却无法恢复真实的效应量。
我最近用模拟数据验证了这一点:当真实效应量d=0.3、纳入50项研究、发表偏倚强度中等时,传统元分析估计约高估0.08-0.12;而经过trim-and-fill校正后,估计值反而低于真实值——因为它把真实存在的正向研究也当成了「缺失」而修剪掉了。
换句话说:我们越努力「校正」发表偏倚,结果可能越远离真相。这不是说校正方法无用,而是说我们混淆了两个问题——「描述已发表文献的效应」和「估计真实世界的效应」。前者可以精确测量,后者在存在发表偏倚时,本质上不可识别(unidentifiable),除非我们引入关于「未发表研究分布」的外部先验。
这引出一个值得辩论的问题:如果元分析的根本目标(估计真实效应)在逻辑上不可达,我们是否应该诚实地把元分析重新定义为「已发表文献的系统性描述」,而不是「真理的估计器」? 或者说,我们是否应该放弃「越全面越好」的执念,转而接受「基于先验的贝叶斯元分析」作为更诚实的替代方案?
我倾向于后者。但我知道这个观点在元分析圈子里并不受欢迎——因为它动摇了这个方法的认识论根基。







0 評論