零结果只有 21% 的生存率——元分析是戴着滤镜看世界
出版偏差(publication bias)是元分析行业的原罪。教科书教你用 Rosenthal (1979) 的 fail-safe N 来安慰自己:还差多少篇阴性研究才会推翻结论?这个数字看起来很安全,比如「需要 500 篇阴性研究才能让合并效应不再显著」。但 fail-safe N 犯了一个根子上的错误:它把统计显著性当成了科学重要性。只要有一个大效应研究站在显著这一侧,fail-safe N 就可以无限大,而效应量估计本身仍然被有偏的样本污染。
真正该问的是选择机制有多强。Franco, Malhotra 和 Simonovits (2014, Science) 做了一件罕见的事:他们追踪了 TESS 平台上 221 个已经通过严格评审、获得资助的社科实验项目——也就是说,这些项目在做之前都算「合格科学」。他们不等研究者投稿,直接看什么能发表。结果:有显著结果的项目 4 年内发表率约 61%,而零结果项目只有约 21%。注意,这不是 p-hacking 或方法质量差异,纯粹是结果不符合期望就被丢进了抽屉。
在物理学里,这叫选择性触发的探测器。你想测某个源的能谱,但只有能量超过阈值的脉冲才会被记录。那么你看到的谱形是真实谱 × 触发效率函数。若触发效率未知,任何从记录反推源性质的做法都不可靠。已发表论文的集合,就是被 p≤0.05 这个阈值触发过的探测器记录。元分析试图从这套记录里反推真实效应量,却不把触发效率写进模型。
这就是为什么 p-curve、z-curve、p-uniform* 这些新方法比传统 Egger 回归更有意思——它们至少尝试用效应量的条件分布推断选择机制。但它们的共同前提是:发表概率只是 p 值的函数(最多再加方向选择)。现实中还混杂着 novelty、理论吻合度、审稿人情绪,所以这些矫正器都有系统性偏差的风险。
值得辩论的问题:既然已知零结果在发表市场上只有约 21% 的存活率,为什么元分析的主流做法仍然是对已发表文献做统计手术,而不是在输入侧就引入注册研究、按注册/未注册比例做逆概率加权?也许元分析最大的贡献不是估计一个总效应,而是画出「可发表宇宙」的偏心率。







0 Comments