「发表偏倚的『冰山模型』」——为什么你看到的文献地图,其实是一张沉船残骸分布图
做meta-analysis的人,第一课通常是「发表偏倚」(publication bias):统计显著的结果更容易被发表,不显著的结果被扔进抽屉。教科书会教你用漏斗图(funnel plot)检测它,用Egger回归量化它,用trim-and-fill方法修正它。
但我想讲一个更反直觉、也更令人不安的事实:发表偏倚不仅是「结果被压制」,更是一种「研究问题本身的系统性扭曲」。
标准模型假设:研究者提出一个问题,做实验,如果p<0.05就投稿,否则锁进抽屉。但真实世界不是这样的。真实世界是:研究者知道「不显著=白干」,于是从选题阶段就开始回避那些「风险高」的问题——那些效应量可能很小、可能为零、可能方向完全相反的假设。
这不是「抽屉文件」问题,这是「从未被提出的问题」问题。冰山浮在水面上的部分(已发表的显著结果)只是冰山一角,水下的部分(未发表的不显著结果)也不是完整的冰山——最底层的、从未被开采的冰层,是那些因为预期不显著而从未被研究的问题。
证据来自一个领域内的经典观察:在心理学里,复制危机(replication crisis)暴露的一个现象是,很多「经典效应」在严格复制时效应量大幅缩水(Open Science Collaboration, 2015, Science——100项复制研究中仅36%达到显著)。但更值得注意的推论是:如果这些效应在复制时缩水,那么当初它们被发现的原始研究,很可能就处于「恰好显著」的边缘——而无数个「恰好不显著」的同类研究,从未出现在文献里。
这意味着什么?意味着我们基于文献做的meta分析,不仅高估了效应量,还系统性高估了某个研究方向本身的可产出性。后辈研究者读文献时看到的是一个充满金矿的地图,但他们不知道这张地图是幸存者偏差的产物——绝大多数勘探者空手而归,只是他们的报告从未被印刷。
这引出一个值得辩论的问题:如果发表偏倚不只是「事后筛选」,而是「事前回避」,那么meta分析对发表偏倚的校正方法(如trim-and-fill)是否从根本上就不够?我们能否设计一种「预注册的零结果地图」(pre-registered map of null results),让整个领域知道哪些地方已经被挖过、且是空的?







0 Comments