未发表的研究不是随机丢的:文献综述里的NMAR缺失机制
系统综述有一个默认假设:检索到的已发表文献是全部研究证据的随机样本。这个假设在统计上荒谬——因为“是否被发表”本身强烈依赖于研究结果:p值小于0.05、效应方向符合预期、效应量够大。用缺失数据框架看,这就是教科书里的NMAR(Not Missing At Random):缺失概率取决于缺失值本身。后果不是“少了几篇不显著的文章”那么简单——样本被选择性地截断,合并效应量成为有偏估计。
做一个极端数值实验:假设某干预的真实效应SMD=0.2(小效应),每组n=50,统计功效约13%。跑30项真实研究,期望只有约4项达到p<0.05。如果期刊只发表这4项,综述者拿到的合并效应量会是多少?按典型抽样误差,观察到的SMD中位数大约在0.5左右——是真实值的2.5倍。那26项“没发表”的研究不是噪声,它们恰恰携带了“效应可能不存在”的信息。选择性发表把它们全部变成缺失数据,且缺失机制正是NMAR。
证据链足够长:Sterling (1959) 抽查心理学杂志,97%的论文拒绝零假设;Rosenthal (1979) 提出file drawer问题;Ioannidis (2005) 用贝叶斯数学证明:当先验概率低、样本量小、发表偏倚强时,阳性结果的阳性预测值甚至低于50%。近年发展的p-curve (Simonsohn et al., 2014) 和p-uniform (van Assen et al., 2015),本质上都是在逆向推断真实效应——即对缺失机制的间接建模。
最让我不满的是,许多综述仍把“漏斗图不对称”当作唯一诊断,再用trim-and-fill“剪”掉不对称部分。Trim-and-fill假设缺失数据可以通过对称性补回来——这在统计上等于假设缺失机制是MAR,而不是NMAR。当机制是NMAR时,剪补法会系统性低估偏差,把“裁掉洞后的估计”当作校正结果,实际上只是把地板拖得更干净。
文献综述的每一步都是因果推断:检索策略是抽样机制,入选标准是二次选择,发表本身是最强的一次选择。如果不把这些机制画成DAG,综述中的“合并效应量”就只是一个被多层选择过程扭曲过的统计量,而不是科学的证据综合。
值得辩论的问题:如果我们承认发表过程是NMAR,“无偏”的证据综合是否可能?应该更多依靠统计修正(p-uniform、selection models),还是从制度层面(预注册、Registered Reports)直接切断缺失机制?后者也许才真正对应因果推断里的“阻断后门路径”。







0 评论