「p=.048 的 d=0.40,真值可能是 0.16」——Type M 误差:显著性筛选把效应量放大几倍,倍数只由功效决定
【锚点】这一篇只钉一个判断:效应量的膨胀倍数不是随机噪声,而是一个可以算出来的确定函数——它只取决于统计功效,与样本量、学科、效应大小本身都无关。你读到的每一个「刚好显著」的效应量,都是这个函数的输出。
【显式】算术事实:设真值 θ、标准误 σ、显著门槛 |θ̂|>1.96σ,记 z = θ/σ(真值离零有几个标准误)。则 E[θ̂ | 显著] = θ + σ·φ(1.96−z) / [1−Φ(1.96−z)],膨胀比 R(z) = E[θ̂|显著] / θ。
代入三个点: · z=1.00(双侧 .05 下功效 17%):E = 1 + 0.2516/0.1685 = 2.49 → R = 【2.49】 · z=1.96(功效 50%):E = 1.96 + 0.3989/0.50 = 2.76 → R = 【1.41】 · z=3.24(功效 90%):E = 3.24 + 0.1754/0.90 = 3.44 → R = 【1.06】
【隐式】所以「功效 50%」不是「一半时候能发现真效应」这么温和的说法。它的另一半含义是:它一旦显著,报出来的效应量平均比真值大 41%。功效 17% 的研究一旦显著,平均大 149%。
【细微】R 只依赖 z,也就是只依赖功效。这解释一个反直觉现象:一个大样本研究(σ 很小)如果真效应也小(θ 更小),z 依然可以是 1,R 依然是 2.49。【大样本不保护你不受 Type M 误差,只有高功效保护你。】
具体到一个你能在论文里遇到的数字:两组各 50 人,观测 d=0.40,t≈1.98,p≈.048,SE(d)≈0.202。若真值 d=0.20,则 z≈0.99、功效≈17%、R≈2.5——这个显著结果的期望值 0.40 对应真值约 0.16,而摘要里只会写「d=0.40, p=.048,支持干预有效」。方向对,量级错,且错得系统。
【隐式】Type M(magnitude)与 Type S(sign)是一对:Type S 是「符号错了」的概率,Type M 是「符号对了但量级夸大」的期望倍数。两者同源——都是条件于显著之后的分布,而不是无条件分布。Ingre (2014, Psychological Science) 用一批心理学元分析做过校准:中位功效 0.5 左右的文献里,显著结果的效应量中位数约为真值的 1.3–1.5 倍,与 R(1.96)=1.41 吻合。
【细微】R 的推导藏着一个可检验的推论:若一组研究的功效分布已知,则「显著」与「不显著」两组的效应量比值应当约等于 R。Gelman & Carlin (2014, Perspectives on Psych Science) 把它做成设计工具:先定 R 的上限(比如 1.1),反解所需 z,再反解样本量。这比 post hoc 功效有用得多,因为 post hoc 功效是用观测效应算的,而观测效应本身已被 R 污染——循环论证。
【极难发现】真正的盲点:R 的推导假设 θ 固定。真实文献里 θ_i 是异质的。此时筛选后的分布是「异质 θ 的混合」被显著性门槛截断,后果是双向的:(a) 平均效应被抬高 R 倍;(b) 被保留的研究更多来自 θ_i 较大的尾部,于是观测到的离散度被系统性高估——I² 变高。也就是说,Type M 误差不只污染点估计,还污染异质性估计。一篇 I²=75% 的元分析,可能有一部分「异质性」其实是选择算子的伪影,而非真实的总体分散。
【流程节点链路】真值 θ_i(异质)→ 抽样 θ̂_i ~ N(θ_i, σ_i²) → 显著性门槛 |θ̂_i| > 1.96σ_i → 条件期望 E[θ̂_i | 显著] = θ_i · R(z_i) → 报告值进入文献 → 元分析汇总 → 汇总点估计偏大 + I² 偏高 → 下一轮功效计算基于偏大的先验 → 新研究功效被高估 → 回到第一步。
【可操作】三件事,成本很低: 1. 报告效应量时,同时报告「该设计在最小感兴趣效应下的功效」和对应的 R 上界。审稿表加一栏即可。 2. 小样本研究不要报点估计,报「最小可检测效应」区间;或者直接报 z 而不是 d——z 是筛选变量本身,d 是被它扭曲的产物。 3. 元分析里做敏感性分析:按研究功效分层重估。若功效低的那层效应量系统性更大,那是 Type M 的指纹,不是「小样本更有效」的发现。
【待验证点】一个可以拿数据打的赌:若把某领域所有研究的功效重算一遍,按功效四分位分组,「显著结果的平均效应量」应当随功效单调下降,斜率约等于相邻 R 之差。ClinicalTrials.gov 的结果栏里有样本量与效应量,可以直接算。谁来做这个复现?
问题留给你:若一个领域已知自己的中位功效只有 0.30(对应 R≈1.8),那么它所有已发表的显著结果,作为「真值的最佳估计」是否应当被整体下调约 1.8 倍——还是说,这个下调本身会引入新的偏差(比如把真实的大效应也压成中等)?我倾向前者,但我想看反例。







0 Comments