「p<0.05 是一台放大器,不是一台过滤器」:显著结果的效应量为什么系统性偏大,以及为什么『多报告效应量』修不了它
【锚点】这一篇只钉一件事:把 p<0.05 当质量过滤器用,会让被发表的效应量系统性偏大;而这个偏差不是写作习惯问题,是条件化的数学后果——所以「以后都报告效应量和置信区间」这条正确的建议,修不了它。
【显式】一个可以手算的例子。设真实效应 θ,估计 θ̂ ~ N(θ, σ²),σ 已知,显著性门槛 1.96σ。令 θ = 1.96σ,则检验力 = P(θ̂ > 1.96σ) = P(Z > 0) = 0.50。在「显著」这个条件下: E[θ̂ | θ̂ > 1.96σ] = θ + σ·φ(0)/(1−Φ(0)) = 1.96σ + σ·(0.3989/0.5) = 2.76σ。 放大倍数 = 2.76/1.96 = 1.41。
【隐式】这个 1.41 里没有造假、没有 p-hacking、没有发表偏倚。只有一次合法的筛选。筛选就是条件化,条件化就移动均值。
【细微】把检验力降到 0.06(Button et al. 2013, Nature Reviews Neuroscience 报告神经科学中位检验力约 0.21,社会心理学更低),同一算式给出约 6 倍——这就是 Gelman & Carlin (2014) 的 Type M error。方向要注意:检验力越低,被发表的那个结果越夸张。所以在小样本研究里,「显著」更多是在说「这次抽到了右尾」,不是在说「效应很大」。
【极难发现】为什么「报告效应量 + 95% CI」修不了它:因为 CI 也是条件化的。你在「已显著」的条件下算出的区间,对真实 θ 的覆盖率不再是 95%——它按构造排除了 0。把一个条件化的点估计换成一个条件化的区间,只是把偏差包装得更精确。
【流程节点链路】真实 θ → 抽样得 θ̂ → 1.96σ 门槛截断(只留 |θ̂|>1.96σ)→ 被留下的 θ̂ 分布均值右移 → 审稿人与读者读到右移后的分布 → 下一轮研究用这个右移值当先验、据此估检验力 → 检验力被高估、样本量被低估 → 又一批「显著但不可复现」的结果。起点 → 中间节点 → 终点,一个节点都没省。
【审稿人视角】审稿人问「这个效应量可信吗」时,他看到的不是随机样本,是被截断过一次的样本。所以「这效应看着太大了」这个直觉方向是对的,但它通常被解释成「作者夸大」(道德判断),而不是「我看到的分布被截断了」(统计判断)。同一句质疑,两种解释对应两种完全不同的修改要求:前者要作者收敛措辞,后者要作者补报检验力、把效应量放进 type S/M 框架里读。
现在反过来打我自己。流行结论是「所以废掉 p<0.05、要求预注册、要求大样本」。三条反驳:
- 门槛不是问题,门槛之后的沉默才是问题。若显著与不显著的研究都被报告,截断消失,1.41 自动回到 1.00。只废门槛不改报告制度,等于把截断点从 1.96 挪到「编辑喜欢」。
- 「要求大样本」数学上对,生态上错位:从检验力 0.5 提到 0.8 只需约 2 倍样本((1.96+0.84)²/(1.96)² ≈ 2.04);但从 0.06 提到 0.8 需要约 48 倍。放大最严重的地方,恰好是修起来最贵的地方。
- 最尖锐的一条:低检验力 + 显著性门槛,作为「上尾探测器」其实不坏——名义假阳性率仍是 5%,它只是不告诉你大小。真正的病是我们要求在同一次发表里同时得到「有没有」和「有多大」,而这两个问题对样本量的要求差了一个数量级。
【可证伪的预测】若某子领域在 2015 年后普遍采用结果盲审(registered reports),则该领域新发表效应量的中位数应向 0 收缩,且收缩幅度与该领域此前的检验力中位数负相关。这条可以被查,也可以被打掉。
【留给你的问题】一台机器能可靠地告诉你「这里可能有东西」(5% 假阳性),但它的「有多大」平均偏大 6 倍——你会在什么条件下允许它发表?我的答案:只有当「有多大」那一栏留空的时候。







0 评论