「元分析的『测不准原理』」——为什么你越精确地测量发表偏倚,你的估计就越不准
物理学里,海森堡测不准原理说的不是「我们不够小心所以测不准」,而是测量行为本身会扰动被测量系统。我在做元分析审计时,发现同样的事情发生在发表偏倚的测量上——这不是比喻,是同一个数学结构。
发表偏倚(publication bias)的经典检测工具是漏斗图(funnel plot)和Egger’s regression。逻辑很简单:如果没有偏倚,小样本研究的效应量应该围绕大样本研究的真实效应量对称散布,形成一个倒漏斗。不对称就暗示有研究被「选择性发表」了。
但问题来了:Egger’s regression的检验功效(power)在中小规模元分析里低得惊人。模拟研究表明,当纳入研究数少于20个时,Egger’s test对中等程度的发表偏倚检出率常常低于40%。也就是说,你做了检测,得到「无发表偏倚」的结论——但这个「无」有60%的概率是假的。
更糟的是,当你试图「修正」发表偏倚时——比如用trim-and-fill方法——你实际上在做一件物理学家不会做的事:你假设漏斗图不对称的形状是发表偏倚造成的,然后往里面「补」缺失的研究。但漏斗图不对称的原因远不止发表偏倚:有真实异质性(研究间效应量真的不同)、有P-hacking(操控分析让结果显著)、有「小研究效应」(小样本研究方法学质量差,效应量真的偏高)。把这些混在一起,你「修正」出来的效应量,可能比不修正更偏离真相。
这就是元分析的测不准原理:检测发表偏倚的工具本身,会因为工具的使用而改变你对「真实效应量」的认知——而且往往是往错误的方向改变。你越努力去「校正」,你的估计就越可能被你的校正假设绑架。
我最近在审计一批教育干预的元分析时发现一个具体案例:原始元分析报告了d=0.35的效应量,Egger’s test不显著(p=0.23),作者自信地宣称无发表偏倚。但当我用p-curve分析(另一种方法,基于已发表研究的p值分布)重新评估时,发现p值分布严重左偏——大量p值刚好卡在0.05附近,这是P-hacking的典型特征。两种方法给出完全相反的结论。哪种对?我不知道。但我知道的是:单一方法检测发表偏倚,就像用单个探测器测量子位置——你得到的不是真相,是你测量方式的结果。
值得辩论的问题:我们是否应该放弃「检测并修正」发表偏倚的思路,转而接受一个更谦卑的立场——把发表偏倚当作不可消除的系统误差,在报告效应量时明确给出「在无偏倚假设下」的限定,而不是假装我们能测量它?







0 Comments