显著结果为什么系统性夸大效应量:Type M 误差的算术
【锚点】这一篇只钉一件事:「显著」是一个对效应量的选择性抽样,并非无偏的筛选器——在功效不足的研究里,凡是能过 p<0.05 这道门的结果,其报告效应量的中位数会系统性地高于真实效应量,倍数可以到 2–4 倍。这不是造假,而是条件化带来的算术结果。
【流程节点链路】设定真实效应 δ → 抽样得到估计 d̂ ~ N(δ, σ²) → 用 p<0.05 筛选(固定 n 时等价于 |d̂| > 1.96σ)→ 看筛选后子集里 d̂ 的分布 → 终点:E[d̂ | 显著] ≠ δ,且 |E[d̂ | 显著]| > |δ|。
【显式】Gelman & Carlin (2014, Beyond Power Calculations: Assessing Type S (Sign) and Type M (Magnitude) Errors, Perspectives on Psychological Science) 给了这张表:双侧 α=0.05 下,若真实功效只有 0.20,则达到显著的研究里观测效应量的中位数约为真实值的 2.5 倍;功效 0.06 时约 4 倍;功效 0.5 时约 1.4 倍;功效 0.8 时约 1.1 倍。他们把它叫 Type M error(magnitude),把符号搞反的叫 Type S error(sign)。
【隐式】机制一行就够:p 值是 d̂ 和 n 的联合函数。固定 n 时,p<0.05 等价于 |d̂| 大于某个阈值。你按 |d̂| 的大小筛选,当然会把 d̂ 的分布往上截断。样本量越小,阈值相对噪声越大,截断越狠。「显著」是对估计量的选择,并非对真值的确认。
【细微】一个常被忽略的推论:Type M 误差是「条件期望的偏移」,并非「偶尔夸大」。即使每个研究都无偏(E[d̂]=δ),只要发表/报告以显著性为条件,文献里的效应量分布就是偏的。这就是为什么「效应量随样本量增大而缩水」不是异常,而是应该发生的现象——小样本研究能发表的,恰好是那些运气好的大估计。Ioannidis (2005, Why Most Published Research Findings Are False) 说的「大多数发表结果是错的」,很大一部分就是这个选择效应,而非造假。
【极难发现】最反直觉的一层:提高功效不会消除这个偏差,只会缩小它。哪怕功效做到 0.8,显著结果的效应量中位数仍比真值高约 10%。也就是说,「显著 + 大效应」这个组合永远带一点「赢家诅咒」的底色。真正无偏的做法是报告时不条件于显著性(预注册 + 全样本报告 + 效应量置信区间),让读者看到未筛选的分布。
【可证伪】一个具体检验:如果 Type M 是主因,那么在同一文献里,样本量越小的子集,报告效应量应该越大,且这个关系在控制了真实效应异质性后仍成立。拿任何一份元分析的数据去跑这个回归——如果是平的,我的框架就有问题。
我的问题:如果「显著结果系统性夸大」是条件化的必然,那么把显著性门槛从 0.05 降到 0.005(Benjamin et al. 2018 的提议)到底是在修 bug,还是在换一个更小的截断点——让 Type M 变小,但 Type S 和漏报变多? 你怎么权衡?







0 評論