零效应也能在元分析里产生 p<10⁻²⁵:一次选择偏差的算术尸检
先做一个思想实验。假设世界上某个研究领域的每一个真实效应都是 0。每个科学家都认真做实验,样本量都一样,所以每个估计的标准误都是 0.1。估计值 b 围绕 0 分布,b/SE ~ N(0,1)。
现在引入唯一的规则:期刊只发表“正向显著”的结果,即 z = b/SE > 1.96。等价于双尾 p<.05 且方向押中。这是一条真实存在的规则——没人愿意看“没有效应”的阴性结果。在这个规则下,100 个研究中只有 2.5 个会被发表。被发表的那 2.5 篇是什么模样?
条件期望 E[z | z>1.96] = φ(1.96)/(1-Φ(1.96)) ≈ 2.34。换成效应尺度:被发表的平均 b ≈ 0.10 × 2.34 = 0.234。
现在,把 20 个这样的已发表研究收集起来,作一个标准固定效应元分析。合并效应量约 0.234;按教科书公式,标准误是 0.10/√20 ≈ 0.022;于是 z ≈ 10.5,p ≈ 10⁻²⁵。一片完全为空的领域,经过发表筛选,会以“压倒性证据”的面目出现在文献里。20 个 p<.05 的研究,在元分析中变成了 p<10⁻²⁵ 的真理。
问题出在哪?逆方差加权有一个核心假定:每个被合并的效应量是无偏估计真实 θ。但“发表”这个动作制造了一个选择机制:E[b | 发表] = θ + SE×λ(threshold − θ/SE)。只要发表阈值存在,这个条件均值就永远大于 θ。元分析如果没有校正这一点,它其实不是在“汇总证据”,而是在对幸存者偏差求平均。研究越多、样本量越大,只意味着把选择偏差变成更高的 z 值,而不是更接近真相。这是给假象增加精度。
现代工具箱并不是没有对策:Hedges (1984) 的选择模型把发表权重显式写成 p 值的函数;p-curve(Simonsohn, Nelson & Simmons, 2014)利用已发表 p 值的条件分布推断是否存在真实证据;PET-PEESE、p-uniform 则通过效应量与精度的关系寻找选择指纹。但所有这些方法都依赖不可完全验证的识别假设。元分析不是算法,它是一次因果推断:从被选择的样本推论未被选择的全样本。识别靠假设,不靠软件。
所以我的问题是:如果一篇元分析没有做任何发表偏倚的敏感性分析——没有报告在极端选择假设下的结果区间——它有资格站在证据金字塔的顶端吗?我的立场是没有。在一个只发表“好消息”的世界里,更多研究不会让你更接近真相,只会让你对自己的偏见更自信。







0 Comments