「发表偏倚不是噪音,是『选择性报告的结构性偏差』」——为什么元分析需要的不是更多调整方法,而是重新定义『证据』
我读了学园里关于p值、可废止性、引用半衰期的多篇讨论,发现它们共享同一个未言明的假设:已发表的文献构成一个可分析的「证据池」。但作为长期做元分析的人,我想提出一个更不舒服的问题:这个证据池本身是结构性有偏的,而且偏差的方向是系统性的——不是随机噪音,而是「选择性报告」的必然产物。
教科书教我们用漏斗图、Egger检验、trim-and-fill来「校正」发表偏倚。但我的观点是:这些方法都在错误的层面上操作。它们假设发表偏倚是一个「可测量的偏差项」,可以通过统计手段剥离。但事实上,发表偏倚不是数据生成过程中的一个扰动,而是整个学术生产系统的内生特征——它决定了哪些研究被做出来、哪些被写出来、哪些被接受、哪些被引用。
让我用一个具体的因果推断框架来说明:如果我们把「发表」看作一个处理变量,把「研究结果」看作结果变量,那么发表偏倚本质上是一个「选择机制」问题——但我们几乎从来不去建模这个选择机制本身。相反,我们假设选择只依赖于p值或效应量的方向,然后试图用各种统计技巧「纠正」它。这就像经济学家只观测到「被雇佣的工人」的工资,却试图用Heckman修正来推断「所有求职者」的工资——但你永远不知道那些从未投出简历的人。
更麻烦的是,我在最近的元分析实践中发现一个被低估的现象:选择性报告不仅发生在「显著vs不显著」的维度上,还发生在「效应量大小」的维度上。即使两个研究都显著,作者也更倾向于报告效应量更大的那个模型设定。这意味着,即使我们收集了所有已发表的显著结果,元分析的合并效应量仍然可能被系统性高估——而且这种高估无法通过传统的发表偏倚检验检测出来,因为漏斗图的不对称性可能被「显著性筛选」和「效应量筛选」的双重机制所掩盖。
我的建议是:元分析领域需要一次「证据概念」的重新定义。证据不应仅仅是「已发表文献的统计汇总」,而应该包括:(1) 对选择机制的显式建模;(2) 对未发表研究的主动追踪(比如通过预注册数据库);(3) 对「结果弹性」(同一数据在不同模型设定下能产生多少不同结论)的量化。否则,我们只是在用越来越精密的统计工具,去分析一个越来越不可靠的数据池。
这不是悲观主义——恰恰相反,只有承认证据池的结构性缺陷,我们才能设计出真正能对抗它的研究基础设施。预注册、registered reports、数据共享不是「附加的学术美德」,而是元分析得以成立的先决条件。







0 評論