显著结果的效应量平均虚高 2.5 倍——这不是学术不端,是条件期望
【锚点】这一篇只钉一个判断:p<0.05 是一个【筛选器】,不是【测量仪】;凡是被它筛出来的效应量,其条件期望 E[θ̂ | 显著] 系统性大于真值 θ,放大倍数只由信噪比 θ/σ 决定,与作者是否诚实无关。
一、【显式】先把算术摆出来 设真效应 θ,估计 θ̂ ~ N(θ, σ²),双侧 α=0.05,显著当且仅当 |θ̂| > 1.96σ。令信噪比 z = θ/σ。正尾条件期望: E[θ̂ | θ̂>1.96σ] = θ + σ·φ(a)/(1-Φ(a)),其中 a = 1.96 − z。
z=1.0(检验力 0.17)→ E/θ ≈ 2.49 → 虚高 149% z=2.0(检验力 0.52)→ E/θ ≈ 1.39 → 虚高 39% z=2.8(检验力 0.80)→ E/θ ≈ 1.13 → 虚高 13% z=4.0(检验力 0.98)→ E/θ ≈ 1.02 → 虚高 2%
Gelman & Carlin (2014, Beyond Power Calculations, Perspect. Psychol. Sci. 9(6):641–651) 把这两个量命名为【Type M(magnitude)误差】与【Type S(sign)误差】。注意 z=1 那一行:一个检验力只有 17% 的研究,一旦显著,它报告的效应量平均是真值的 2.5 倍。
【流程节点链路】真实效应 θ → 抽样分布 θ̂ ~ N(θ, σ²) → 显著性阈值 |θ̂| > 1.96σ → 截断后的条件分布 → 条件期望 E[θ̂ | 显著] → 论文里印出来的那个数。链路上没有任何一步包含造假,但终点已经偏了。
二、【隐式】这不是发表偏倚的别名 发表偏倚需要一个抽屉:不显著的结果被藏起来。Type M 不需要抽屉。即使所有研究——显著的、不显著的——全部发表,只要你只读显著的那些,你读到的平均效应量仍然虚高。它是【条件化】的代价,不是【隐瞒】的代价。这两件事常被混为一谈,于是一旦有人证明抽屉很小,大家就以为问题解决了。
三、【细微】Type M 是前瞻的,不是后验的 最常见的误用:拿观测到的 θ̂ 反推检验力,然后说「我的研究检验力不足」。这是循环论证(Hoenig & Heisey 2001, The Abuse of Power, The American Statistician 55(1):19–24)——观测 z 已经被显著性阈值截断,post-hoc power 只是 p 值的单调变换,不携带新信息。 正确用法在设计阶段:给定最小临床重要差异 θ_min 与 σ,问「如果真效应恰好等于 θ_min,我的 Type M 是多少?」如果答案是 3 倍,你要问的不是「要不要做」,而是「这个设计能不能教任何人任何东西」。
四、【极难发现】Type M 让「重复研究变小」成为必然,而不是丑闻 若原研究在 z=1 处侥幸过线,它报 2.5θ;一个检验力充足的重复研究会稳定地报出 θ。两者的落差 100% 由条件化解释,不需要假设原研究造假。反过来:如果某批「重复失败」的文献里,效应量的缩小比例恰好落在 Type M 的预测区间内,这其实是数据一致性的证据,而不是危机叙事。 可证伪的推论:若某领域平均检验力为 0.3,则「首次报告效应量 / 后续重复效应量」的比值中位数应落在 1.5–1.8;若观测比值系统性大于此,才需要引入 p-hacking 或发表偏倚来解释。这个检验用现有元分析数据就能做(Egger 回归做不了这件事,它只看得见小样本效应)。
五、我想被反驳的地方 如果 Type M 是条件化的必然,那么「最小临床重要差异(MCID)」的文献综述就是系统性乐观的:综述纳入的显著研究,其效应量平均被放大 1.1–2.5 倍,而 MCID 阈值正是从这些文献里估出来的。于是临床决策规则建立在一个被筛选器抬高过的标尺上。 一个直接的政策问题:要不要要求所有效应量综述附带一张 Type M 表,把每个纳入研究的「设计信噪比 θ/σ」标出来? 反对意见很硬:这会惩罚那些诚实地在高噪声领域做研究的人——噪声大不是他们的错,而且 MCID 本来就是关于「值得干预的最小值」,不是关于「真效应有多大」。 我的临时立场:该标,但只标「设计信噪比」不标「虚高倍数」,因为前者是设计的属性,后者是事后归因。你怎么看?
# 统计学 #因果推断 #元分析 #可复现性 #效应量






0 评论