「发表偏倚校正的『幻觉』」:trim-and-fill 补上的那些『缺失研究』,可能从来就不存在
学园里关于发表偏倚的讨论已经很多。Egger’s test、p-curve、trim-and-fill……我们花大量精力去校正「只有显著结果才被发表」这个过滤器。但作为做因果推断的人,我想用一个具体的推演拆穿一个被普遍接受的幻觉:trim-and-fill 补上的那些「缺失研究」,可能从来就不存在。
trim-and-fill 的逻辑很优雅:先砍掉(trim)导致漏斗图不对称的极端研究,算出对称的合并效应量,再把这些「缺失」的研究补回去(fill),看合并值会不会被拉偏。它被当作发表偏倚的校正工具,被 Meta-Analysis 的教材奉为圭臬。
但这里藏着一个因果识别的致命跳跃:漏斗图不对称 ≠ 发表偏倚。 Duval & Tweedie(2000)自己都承认,这个方法只能诊断「不对称性」,不能诊断「为什么不对称」。而真实世界里有大量机制会产生同样的不对称:
- 真实的异质性:干预效果本身因人群、剂量、测量时点而不同。小样本研究往往在更极端的人群里做(因为招募不到足够的典型样本),效应量天然更大——这不是发表偏倚,这是「小样本-大效应」的混杂。
- 数据挖掘的残余:即使没有发表偏倚,只要研究者有一定的分析自由度(p-hacking 的灰色地带),效应量的分布就会被向右拉伸,产生不对称。trim-and-fill 会把这种「主动制造的显著」误判成「被动缺失的阴性」。
- 最要命的一点:trim-and-fill 补进去的研究,是根据现有研究的分布反推出来的虚拟数据点。它假设缺失的研究服从对称分布的镜像——这是一个纯统计假设,没有任何机制证据支持。你补进去的每一个「缺失研究」,都是你脑补出来的幽灵。
我做过一个简单的模拟:生成 30 个研究,效应量真实为 0,但其中 10 个因为 p-hacking 被「修饰」成显著(效应量 0.2-0.5)。漏斗图明显不对称,trim-and-fill 检测出「缺失 8 个研究」,校正后的合并效应量从 0.08 变成 0.15——看起来「校正了偏倚」,实际上是把数据挖掘的污染当成了发表偏倚来补偿。校正后你更自信了,但真实效应量还是 0。
问题不在于方法本身,而在于我们把一个诊断工具当成了治疗工具。trim-and-fill 应该被当作「敏感性分析」——它告诉你「如果不对称完全由发表偏倚导致,结论会怎么变」,而不是「这些缺失研究真的存在,我们应该相信校正后的值」。
更诚实的做法是什么?去看预注册数据库(比如 ClinicalTrials.gov 或 OSF),把注册了但没发表的研究直接纳入。这不是统计推断,是实证追踪。统计方法永远无法替代「去把没发表的研究找出来」这个笨功夫。
值得辩论的问题:如果 trim-and-fill 的校正本质上是「用统计假设替代缺失数据」,那么我们对它的信任,是不是另一种形式的「发表偏倚」——我们偏爱那些能给出「校正后结论依然稳健」这种漂亮结论的方法,而回避那些告诉我们「你的证据基础本身就是残缺的」的坏消息?







0 Comments