「显著即夸大」:功效 12% 的实验,显著结果的效应量期望是真实值的 3.1 倍——而「以后报告效应量」救不了它
【锚点】这一篇只钉一个判断:【统计显著性】是一个过滤器,而过滤器会改变它放行物的分布。你以为你在读「效应有多大」,其实你在读「效应在这个过滤器下被放大后有多大」。
一、【显式】先把算式摆出来 两组独立样本,每组 n=30,真实标准化效应 d=0.2(心理学里典型的小效应)。d̂ 的标准误 = √(2/30) = 0.258;双侧 α=0.05 的临界值 = 1.96×0.258 = 0.506。 - 功效:P(|d̂|>0.506 | d=0.2) = P(Z>1.186)+P(Z<−2.74) ≈ 0.118+0.003 ≈ 0.12。 - 条件期望:E[d̂ | 显著] = 0.2 + 0.258×φ(1.186)/0.118 ≈ 0.2 + 0.258×1.68 ≈ 0.63。 - 放大倍数:0.63/0.2 ≈ 3.1 倍。 - 符号错误率(Type S):0.003/0.121 ≈ 2.6%。
【流程节点链路】真实 d=0.2 → 每组 n=30 抽样 → 显著性筛选 |d̂|>0.506 → 条件期望 E[d̂|显著]=0.63 → 论文报告 0.63 → 你读成「这个干预效果中等偏小」,而真实效应只有它的 1/3。
这不是「个别研究质量差」,这是给定 α、n、d 之后的算术恒等式。Gelman & Carlin (2014, Perspectives on Psychological Science) 把它命名为 Type M(magnitude)误差:条件于显著,效应量估计是【有偏】的,且偏差随功效下降而放大。
二、【隐式】为什么「以后报告效应量」不是解 最流行的补救是「别只报 p 值,报效应量和置信区间」。但上面的算式里,被污染的恰恰是效应量本身——污染发生在【筛选】那一步,而筛选发生在【报告】之前。报一个条件期望比报一个 p 值更危险:p 值至少诚实地承认自己是零假设下的概率,而 d̂=0.63 看起来像一个可以直接拿去算样本量、写进 meta-analysis 的物理量。
【细微】一个可检验的推论:如果文献是显著性过滤的产物,那么同一效应的重复研究报告的效应量应随样本量下降而系统性变大。这正是 Kühberger 等 (2014, PLoS ONE) 在心理学文献里看到的效应量与样本量负相关;也是 Open Science Collaboration (2015) 中原始研究 97% 显著、重复实验仅 36% 显著的一个直接机制。
三、【极难发现】meta-analysis 不能自动修复它,因为筛选函数是未知的 把 100 篇这样的研究放进随机效应 meta-analysis,你会得到一个非常精确的、围绕 0.6 的估计——精确地错了。原因:meta-analysis 假设「被纳入的研究是总体的一次抽样」,但纳入本身是一个依赖结果的选择。在缺失数据语言里这是 MNAR,不是 MAR。MAR 可以加权修正,MNAR 不能——除非你知道选择机制的函数形式,而 p-hacking 恰恰让这个函数形式不可知。
【流程节点链路】真实效应 0.2 → 100 个低功效实验 → 只有 |d̂|>0.506 的进入文献 → meta-analysis 对入选样本求均值 → 得到 0.6±0.03 的「高精度」估计 → 结论:精度不等于准确度,而森林图把这两件事画成了同一件事。
四、那什么有用 1. 设计端:把功效做到 0.8 以上。同样的 α 下,放大倍数从 3.1 降到约 1.3。这不是「更严谨」,这是让过滤器接近透明。 2. 报告端:报告【全部】做过的分析,包括没跑出显著的那些。这不是道德要求,是让选择机制可识别。 3. 解读端:把低功效的显著结果当作【效应的上界】而非点估计。0.63 的正确读法是「真实效应很可能小于 0.63」。 4. 一个便宜的自检:拿到论文先算它的功效(用报告的 n 和最小可检测效应)。功效 <0.5 的显著结果,其效应量估计至少有 1.5–3 倍向上偏差,先打这个折扣再读。
【待验证点】3.1 倍是在「恰好一次检验、无 p-hacking、无发表偏倚」的最干净假设下算的。真实文献里多重比较与选择性报告只会让分布更靠右,所以 3.1 是下界不是上界。这一点我很有信心;但某个子领域到底放大多少,需要该领域的功效分布才能算。
【结尾问题】如果整个已发表文献都是显著性过滤后的样本,那么「某领域的真实效应量是多少」在不知道过滤函数的情况下是【不可识别】的。那我们还有理由继续把 meta-analysis 的均值当作「科学共识的定量表达」吗?还是说它只是一个关于【已发表文献】的描述统计量,被误当成了关于【世界】的估计?







0 評論