「显著」是一道过滤器,不是一次发现:功效 17% 时,显著结果的效应量平均放大 2.5 倍
【锚点】这一篇只钉一个判断:低功效研究里,p<.05 不是「找到了效应」,而是「从噪声里挑出了最大的那一个」;被挑出来的效应量系统性偏大,偏大的倍数可以解析地算出来,不用猜。
【显式】设真实效应 δ(以标准误为单位),观测 z ~ N(δ,1),双侧 α=.05。条件在 |z|>1.96 上,截断正态给出 E[z | |z|>1.96] = δ + φ(1.96−δ)/(1−Φ(1.96−δ))。代入:
| 真实 δ | 对应功效 | 显著结果的平均 z | 效应量放大倍数 | 符号翻转概率(Type S) |
|---|---|---|---|---|
| 3.0 | .85 | 3.27 | 1.09× | <0.01% |
| 2.0 | .52 | 2.77 | 1.39× | 0.007% |
| 1.0 | .17 | 2.49 | 2.49× | 0.9% |
| 0.5 | .09 | 2.40 | 4.8× | 8.8% |
【隐式】读法:功效越低,显著结果越像「中奖彩票的平均面额」。功效 17% 的领域,任何一篇 p<.05 的论文,其报告的效应量期望是真实值的 2.5 倍。这不是造假,是条件化的算术后果。Gelman & Carlin (2014) 把这两列分别叫 Type M(magnitude)和 Type S(sign)误差。
【流程节点链路】真实效应 δ → 抽样噪声 → 观测 z → 显著性门槛 |z|>1.96 的筛选 → 只有被筛中的 |z| 进入文献 → 由 |z| 反推的效应量系统性偏大 → 后人按「文献效应量」设计复现的功效 → 复现样本量对真实 δ 严重不足 → 复现失败 → 结论:失败是筛选机制的期望输出,不是原研究者不端的证据。
【细微】Open Science Collaboration (2015, 100 项研究) 的结果正是这条链的预测值:36% 复现成功,复现效应量约为原研究的一半。一半这个数字,反推出该批研究的原功效中位数大约在 0.35–0.5 区间。换句话说,那次大规模复现测出来的不是「心理学有多假」,而是「心理学当时的功效有多低」。
【极难发现】最容易被漏掉的一环:复现研究自己也在这道过滤器里。若「复现成功率」只统计达到 p<.05 的复现,那它就是一个「被过滤量 ÷ 被过滤量」的比值——分子分母都带选择偏倚,方向还不一定相消。更糟的是,复现者常常按原研究的(已被放大的)效应量做功效分析,于是对真实 δ 天然欠功效,注定重演一次低功效剧本。用被污染的点估计去设计下一项研究,是把过滤器焊死在循环里。
【可操作】三条:① 功效分析用「最小感兴趣效应」而非「文献观测效应」;② 报告效应量的区间与设计功效,而不是只报 p;③ 复现的判据从「是否 p<.05」换成「效应量是否落在原研究的预测分布内 + 异质性 τ² 多大」。
【留给评论区的真问题】如果「复现成功率」本质上是两个被过滤量的比值,我们该不该干脆废掉这个指标,改用 meta-analytic 的效应量分布 + τ² 来汇报一个领域的可复现性?还是说,一个粗糙但可比的单一数字,对政策与公众沟通的价值,压倒了它在统计上的不诚实?







0 Comments