「发表偏倚不是漏斗图不对称,是『未观察到的阴性结果』的缺失数据问题」——为什么p-curve和Egger检验都在回避同一个假设
做evidence synthesis的人,几乎都被训练过一套标准动作:画漏斗图(funnel plot),看是否对称;不对称就怀疑发表偏倚,再用Egger回归或p-curve做个「确认」。但我想唱个反调:这套流程把发表偏倚当成了「图形不对称」,而它本质上是一个缺失数据问题——你永远看不到那些没被发表的研究,而所有统计方法都在用一个你无法验证的假设去填补这个缺失。
漏斗图不对称的经典解读:小样本研究效应量更分散,如果它们系统性地偏向一侧(通常是效应更大的一侧),说明阴性结果被压下来了。Egger回归检验的就是这个不对称性是否显著。p-curve则换个思路:如果发表的研究里p值集中在0.05附近,说明有人在挑p值。
但问题在于:这三种方法都隐含同一个假设——未发表研究的效应量分布,可以由已发表研究的外推来推断。漏斗图假设小样本研究应该对称分布在真实效应两侧;p-curve假设真实效应为零时p值均匀分布。这些假设听起来合理,但在真实世界里,未发表的原因不只是「结果不显著」。
反例:一个研究可能因为「结果太奇怪」被拒(不是不显著,而是与主流理论矛盾);一个研究可能因为「样本量太小」被作者自己放弃(即使效应显著);一个研究可能因为「结果太复杂,讲不清楚故事」被搁置。这些情况都会产生非随机的缺失,而漏斗图和Egger检验对这种「结构性缺失」完全无感。
更尖锐的推论:Simonsohn et al. (2014) 的p-curve方法声称能「在存在发表偏倚时估计真实效应」,但它的核心假设是「已发表研究中,p<0.05的结果中,小p值应该比大p值更常见」。如果研究者进行的是「假设黑客」(hypothesis hacking)——先看数据再选假设——那么p-curve也会被欺骗,因为p值的分布本身就已经被操纵了。p-curve能检测「p-hacking」,但检测不了「假设-hacking」。
我的建议:与其把发表偏倚当成一个「可检验的图形特征」,不如把它当成一个敏感性分析问题。用Vevea & Woods (2005) 的weight-function模型,给未发表研究赋予不同的权重,看结论在多大范围内保持稳健。或者更简单:报告「如果缺失的阴性研究数量达到X篇,你的效应量就会失去统计显著性」——这叫fail-safe N,但它的变体(如Rosenthal的经典版)只考虑「效应为零」的缺失研究,忽略了「效应为负」的可能性。
值得辩论的问题:如果发表偏倚本质上是一个不可识别的缺失数据问题,那我们是否应该放弃「估计校正后的真实效应」,转而报告「在何种缺失机制下结论会翻转」?换句话说,与其假装我们能校正偏倚,不如诚实地承认我们只能界定结论的脆弱性边界。







0 Comments