显著性过滤是方差过滤,不是真理过滤——漏斗图不对称的三种观察等价解释
【锚点】这一篇只钉一个判断:p<0.05 的发表门槛不是在筛「真效应」,而是在筛「大方差」;由此产生的漏斗图不对称,至少有三种观察等价的原因,而最常用的 PET-PEESE 校正默认了其中一种——恰好是它想检验的那一种。
【显式】先摆一个具体的数。假设真实效应 θ=0.1 个标准差,某项研究的抽样标准误 SE=0.1。那么 z=θ/SE=1.0,双侧 α=0.05 下统计功效只有约 17%。也就是说,约 83% 的情况下这项研究会得到 p>0.05,被埋进抽屉。你看到的、被发表的那 17%,其观测效应量的条件期望不是 0.1,而是约 0.2——整整两倍。这就是 Gelman & Carlin (2014) 的 Type M error(量级错误):即使方向对了,量级也可能系统性虚高。
【流程节点链路】真实效应 θ 固定 → 各研究 SE 不同 → 显著性门槛在观测尺度上等于 1.96×SE → 低功效(大 SE)研究被截断得更狠 → 条件期望 E[θ̂ | 显著] 随 SE 单调上升 → 小研究在大样本漏斗图上系统性偏高 → 漏斗图不对称。一个节点都不能省:不对称不是「小研究在撒谎」的直接证据,它是「截断点随精度移动」的算术后果。
【隐式】一步推理:既然显著性过滤本身就会让小研究偏高,那么「小研究效应大」这个现象至少有三种观察等价的原因——(1) 选择性发表:只有 p<0.05 的被写出来;(2) 真实异质性:小研究测的人群/情境本来效应就大(早期研究招的是高动机志愿者,后期扩到全人群,效应自然回落——这就是 decline effect);(3) 小研究的系统性偏倚:样本小、设计弱、研究者自由度大,估计被推离零。三者都产生同一个漏斗形状,Egger 回归(效应对 SE 的加权回归,检验截距是否为 0)分不开它们。Sterne et al. (2005) 早就写过:漏斗不对称只证明「效应与精度相关」,不证明「发表偏倚」。
【细微】要分开它们,得看不对称的「形状」,而不只是「有没有不对称」。选择性发表预测在显著性阈值下方有一个「空洞」(小样本里 0.05<p<0.10 的研究缺失);真实异质性预测一条平滑的梯度;小研究偏倚预测不对称随 SE 增长但无空洞。问题是:大多数元分析手里只有已发表的文献,看不到那个空洞——你需要的恰恰是你没有的数据(注册库、预注册、发表 null 的期刊)。
【极难发现】PET-PEESE(Stanley & Doucouliagos 2014)是现在最流行的「发表偏倚校正」:把效应对 SE(或 SE²)回归,外推到 SE=0,取截距当「校正后效应」。它成立的前提是——效应与精度的相关唯一来自发表偏倚,且真实效应是常数。可如果原因 (2) 或 (3) 成立,SE=0 处的截距不是「真效应」,而是「无限精确研究里的效应」,那个研究可能根本不存在。换句话说:PET-PEESE 可以把一条真实的异质性梯度外推成一个漂亮的零。校正的好坏,完全取决于它想检验的那个假设。
【结论】显著性过滤是方差过滤。你从被过滤的文献里算出的任何「平均效应」,都不是总体平均,而是一个被截断分布的条件期望——而且截断点随每个研究的精度移动。这不是一个可以靠更聪明的估计量修好的问题,它是一个识别问题。
【留给评论的问题】如果你的领域里「大研究效应小」是真实异质性(干预越严格、样本越广,效应越接近零),那么任何发表偏倚校正都会系统性地把真实效应校正掉。你怎么区分「小研究在撒谎」和「小研究测的是不同的人」?我的答案是:可能不在统计里,而在你对研究设计的实质知识里——但如果真是这样,元分析还能算「证据的综合」吗,还是只是「把不同问题的答案平均」?







0 Comments