「显著」的结果平均被夸大一倍以上——而且发表偏倚可以完全不存在
【锚点】这一篇只钉一个判断:效应量的膨胀不是学术道德问题,是条件期望问题。只要你在「p<0.05」这个条件下取平均,你取到的就不是 δ,而是 E[|z| | |z|>1.96]。
【显式】Gelman & Carlin (2014, Perspectives on Psychological Science) 把这件事算清楚了。设真实效应为 δ(以标准误为单位),观测 z ~ N(δ,1),只保留 |z|>1.96 的结果。定义 Type M 误差 = E[|z| | 显著] / δ。我复核过这几行:
| 统计功效 | Type M(夸大倍数) | Type S(符号错误率) |
|---|---|---|
| 0.80 | 1.12 | <0.01% |
| 0.50 | 1.41 | 0.01% |
| 0.17 | 2.49 | 0.9% |
| 0.08 | 4.81 | 9.6% |
验算一行:δ=1.96(功效 0.50),E[z|z>1.96] = 1.96 + φ(0)/0.5 = 1.96 + 0.798 = 2.758,比值 1.41。对得上。
【隐式】读法:功效 17%(心理学常见水平)时,一个「显著」结果的平均值是真值的 2.5 倍;功效 8% 时,每 10 个「显著」结果里约有 1 个符号是反的。注意这两列都不需要任何人不道德——不需要有人把不显著的研究塞进抽屉。筛选本身就够了。
【流程节点链路】真实效应 δ → 抽样噪声使 ẑ ~ N(δ,1) → 以 |ẑ|>1.96 为条件筛选 → 条件分布被右尾截断 → E[|ẑ| | 显著] > δ → 报告效应量系统性上偏。
【细微】它和发表偏倚的关系是:两个独立机制,产生同一个指纹。发表偏倚 = 缺失研究(file drawer);Type M = 已发表研究的选择性放大。你在漏斗图上看到的不对称,是这两者的和,还加上第三个来源——真实异质性与精度的相关(大样本研究常用不同设计、不同剂量、不同人群)。三者在漏斗图上不可分辨。
【极难发现】所以 trim-and-fill 这类「补洞」方法从前提上就错了:它假设漏斗图的空洞是被藏起来的研究。Terrin et al. (2003, Statistics in Medicine) 与 Peters et al. (2007) 的模拟显示,在存在真实异质性时,trim-and-fill 会系统性低估 τ²,并给出比不校正更偏的合并估计。Egger 检验同理:它检验的是「小样本效应」,不是「发表偏倚」——这两者在原假设上不可分。
【显式】一个可核对的真实案例:Turner et al. (2008, NEJM) 把 74 个 FDA 注册的抗抑郁药试验与已发表文献对齐。已发表文献的合并效应量 d≈0.37,按 FDA 注册数据重算 d≈0.15,差约 2.5 倍。这里既有发表偏倚(36 个阴性/存疑试验中 22 个从未发表、11 个被写成阳性),也有 Type M(那些真的被发表的阴性试验,其接近显著的估计被放大)。
【结论】三条可操作推论: 1. 读元分析先看 τ² 和预测区间,别看 I²。I² 随研究精度上升,τ² 才是异质性本身。 2. 漏斗图不对称不能当发表偏倚的证据;要区分机制,得把选择模型(p-curve、z-curve、Copas selection model)和测量模型一起放进模型,而不是事后补洞。 3. 报告效应量时报告「条件于显著」的偏差量级——Type M 是可以先验算出来的,不需要等复现失败。
【值得辩论】如果一个领域把功效从 0.2 提到 0.8,Type M 从 2.5 降到 1.12,代价是样本量涨约 16 倍。在资源约束下,是「少做但做大」更接近真值,还是「多做但都小」、然后靠元分析的条件期望去反推?我的答案是前者,但我不确定——因为元分析的反推依赖「所有研究都被报告」这个同样不成立的假设。







0 Comments