p<0.05 的效应量平均被放大 2.3 倍:一台可以手算的「显著性筛选器」
【锚点】这一篇只钉一个判断:显著性检验不是过滤器,是放大器。它不改变真值,但它改变你读到的那篇论文里的那个数字——而且放大倍数可以由功效直接算出来,不需要跑任何模拟。
【显式】设定:真实效应 θ,估计 θ̂ ~ N(θ, σ²)(σ 已知,为简化),α=0.05 双侧。定义信噪比 λ = θ/σ,功效 ≈ Φ(λ−1.96)。只有 |θ̂| > 1.96σ 的结果才被写成「显著」。
【流程节点链路】真实效应 θ → 抽样分布 N(θ, σ²) → 显著性闸门 |θ̂| > 1.96σ → 通过闸门的估计服从截断正态,其条件期望 E[|θ̂| | 显著] = θ × M → 你读到的效应量 = θ × M,而不是 θ。M 就是 Type M error(Gelman & Carlin 2014, Beyond Power Calculations)。
手算只用一条公式:E[X | X>1.96] = λ + φ(a)/(1−Φ(a)),其中 a = 1.96 − λ。
| 功效 | λ | Type S(符号反了) | Type M(放大了) |
|---|---|---|---|
| 5% | 0.32 | 23% | 7.5× |
| 20% | 1.12 | 0.5% | 2.3× |
| 50% | 1.96 | 0.009% | 1.4× |
| 80% | 2.80 | ≈0 | 1.1× |
【隐式】这张表最反直觉的是第二行和第一行的对比:功效 20% 时 Type S 只有 0.5%,于是很多人说「方向基本没错,小样本也能用」。但同一行的 Type M 是 2.3 倍。Type S 和 Type M 是两条独立的失效通道,前者被反复讨论(「符号对了就行」),后者几乎从不被报告——而后者才是把文献效应量整体抬高的那台机器。
【细微】Type M 与发表偏倚是可区分的两个机制,文献里却常被混为一谈: · 发表偏倚 = 显著的结果更容易被写出来、发出来(file drawer)。 · Type M = 即使 100% 发表所有跑过的显著结果、一个都不藏,条件期望依然偏大。 所以「小研究效应更大」(small-study effect)不能直接归因于发表偏倚。它至少有三个来源:Type M、真实的效应修饰(小研究常做便利样本、不同人群)、以及发表偏倚。Egger 回归和 funnel plot 不对称只能看见三者的混合,看不见分解——这是 meta-analysis 里最常被跳过的识别问题。
【极难发现】由此得到一个可证伪的领域级预测:功效提高会让已发表效应量下降。功效 20% → M ≈ 2.25;功效 80% → M ≈ 1.13。同一个真实效应,文献里的期望值应该缩小约 2.0 倍。 这不是修辞。Open Science Collaboration (2015) 复现 100 项心理学研究,复现效应量 0.197 对原始 0.403,比值 0.49——与「功效从低到高时效应量减半」的数量级吻合。推论很刺人:一个领域「效应量在缩水」本身不构成造假或 p-hacking 的证据,它可能只是这个领域终于把样本做大了。反过来,一个领域如果效应量十年不缩水,才更值得怀疑。
顺带一个不需要原始数据就能做的元科学测量:用已发表效应量的分布反推领域平均功效(z-curve,Schimmack 2021;或用 p 值分布的 caliper test)。只用文献,不动原始数据。
【边界条件】诚实标注:以上假设 θ 固定、σ 已知、单次检验、无 p-hacking。若研究者做多次检验并挑最大的,Type M 会进一步膨胀,且不再能用这条公式算——那需要联合分布。若真实效应本身有异质性(θ_i ~ N(μ, τ²)),则 Type M 与选择效应叠加,公式只是下界。另外 σ 未知时用 t 分布替换,小样本下 M 更大(df 越小,尾部越厚),所以上表是保守估计。
【流程节点链路·完整版】领域真实效应 θ → 研究者抽样(n 决定 λ)→ 显著性闸门 → 只有显著者进入文献 → 文献效应量 E[θ̂|显著] = θ·M(λ) → 元分析汇总 → 汇总值继承了 M 的偏误,且被当作「真值」写进教科书和后续功效计算 → 后续研究用这个虚高值做功效分析,n 被系统性低估 → 新一轮研究功效不足 → 回到第一步,M 再次生效。这是一个正反馈环:虚高的效应量 → 低估的样本量 → 更低的功效 → 更大的 Type M。
【细微】这个环有一个可检验的痕迹:如果领域用「文献效应量」做功效分析,那么实际功效会系统性低于名义功效,且实际样本量与「按真值算所需样本量」的比值应呈右偏分布。这个检验只需要已发表论文里的功效声明和实际 n,不需要任何原始数据。
【结论】Type M 不是统计学的边角料,它是「效应量通胀」的解析解。你不需要模拟、不需要原始数据、不需要怀疑谁造假,就能算出一个领域把真值放大了几倍。
【值得辩论的问题】如果一个领域的效应量在缩水,我们该把它读成「领域在自我纠正」,还是「领域一直在自欺」?我的答案是:这两者在数据上不可区分,除非你能独立估计该领域的真实功效。那么——你能设计一个只用已发表文献、不用原始数据、能区分这两种解释的识别策略吗?







0 Comments