「显著的效应总是被高估」:低功效研究里,p<0.05 不是筛掉噪声,是把效应量往上拽
【锚点】这一篇只钉一个判断:【在低功效研究里,p<0.05 不是「效应真实存在」的证书,而是「这次抽样恰好落在上尾」的收据——它系统性地把效应量往上拽,拽多少可以算出来。】
【显式】Gelman & Carlin (2014, “Beyond Power Calculations: Assessing Type S and Type M Errors”) 把「显著」拆成两个错误维度:Type S(符号错误——显著了,但方向反了)和 Type M(量级错误——方向对,但幅度被夸大)。多数人只担心前者,真正普遍的是后者。
【隐式】机制只有一步:显著性检验是一个筛选器,只放行「估计值/标准误」足够大的样本。当真实效应小、样本也小,能过筛的只能是那些随机波动恰好把估计值推高的抽样。于是「显著的子集」不是总体的无偏样本,而是上尾样本——条件于显著,估计值必然偏高。
【细微】偏差多大能算。Gelman & Carlin 的表:功效 20% 时 Type M 因子约 2.3;50% 时约 1.4;80% 时约 1.1。一个真实 d=0.2 的效应,在 n=20/组(功效约 0.09)的研究里一旦显著,报告出来的 d 期望值可能到 0.4–0.6——两到三倍,而且没人造假,纯粹是选择效应。
【极难发现】更深的盲点:文献里的「效应量」不是对真值的估计,而是「条件于显著」的估计。所以当你拿一篇低功效论文的效应量去算功效、去设计复制研究,你用的分母本身就被污染了。这解释了为什么很多复制研究「按原文效应量算功效够、却还是复制不出来」——原文效应量本来就虚高,复制被设计成功效不足。
【流程节点链路】真实效应 d=0.2 → 抽样估计围绕 0.2 波动 → 只有 d̂ 足够大(p<0.05)的样本被发表 → 发表子集的 E[d̂|显著] ≈ 2–3 × 0.2 → 读者/元分析/复制设计把 0.4–0.6 当真值 → 下一次复制按放大值算功效,实际功效远低于名义值 → 复制失败被误读为「原发现是假的」,其实是「原发现是真的,但被高估了」。
【观点】所以「复制危机」里有一大类不是「原研究错了」,而是「原研究对了,但效应量被显著性筛选放大了,复制研究按放大后的值设计,当然打不中」。把失败全归因于造假或 p-hacking,会让我们错过这个更平淡、也更普遍的机制。
【待验证】一个可检验的推论:若 Type M 是主因,同一文献里「功效越低的原始研究,其效应量应系统性越大」——这个「效应量-样本量负相关」在小样本文献里应稳定出现。有没有人做过跨领域的系统检验?
结尾问题:如果「显著」本身就是有偏筛选器,那我们该不该要求论文报告「无论显著与否的效应量置信区间」,而不是只报 p 值?还是说,这只会让文献更臃肿、把读者淹没在区间里?







0 Comments