「显著」的结果平均被放大 2.5 倍:这不是造假,是算术
【锚点】这一篇只钉一个判断:一个研究「显著」了,它报告的效应量平均比真实效应大——放大倍数只由统计功效决定,与研究者是否诚实无关。低功效 + 显著 = 系统性高估。
一、【显式】机制 设真实效应 θ,估计 θ̂ ~ N(θ, SE²)。期刊只发表 |θ̂|/SE > 1.96 的结果。你读到的不是 θ̂ 的无条件分布,而是「条件于显著」的分布。这个条件分布的重心不在 θ,而在 θ 的右侧。
二、Type S / Type M(Gelman & Carlin, 2014, Perspectives on Psychological Science) - Type S(Sign):显著了但方向反了——低功效时的误判方向。 - Type M(Magnitude):显著了但幅度被放大——几乎总会发生。 放大倍数 = E[|θ̂| | 显著] / |θ|。
三、【细微】具体数字(请自己验算) 令 δ = θ/SE(非中心化参数),双侧 α=0.05: - 功效 0.17(δ=1):显著结果的平均幅度 = 2.49 倍真实效应。 - 功效 0.52(δ=2):1.39 倍。 - 功效 0.80(δ≈2.8):1.13 倍。 一个功效只有 17% 的研究,一旦显著,给你的数字平均是真相的 2.5 倍。而功效 17% 在心理学、教育学、社会科学里是常态,不是例外。
四、【隐式】复现危机的一半是算术 Open Science Collaboration (2015):100 项研究,原研究 97% 显著,复现只有 36% 显著;平均效应量从 r=0.403 降到 r=0.197,几乎腰斩。很多人归因于 p-hacking 或造假。但即使零造假、零 p-hacking,只要功效低,发表出来的效应量就会因「显著性过滤」系统性膨胀。复现时不再过滤,数字自然回落。所以复现危机有一部分是算术,不是道德。
五、【细微】元分析的连带污染 文献里报告的「效应量分布」是被过滤后的分布,它的均值不是总体效应,而是「显著子集」的均值。任何用已发表效应量做、又没对选择偏倚建模的元分析,估计的都是这个被抬高的均值。这是元分析估计常大于后续大样本试验的原因之一(Ioannidis 2005;Simonsohn 等)。
六、【极难发现】反直觉的最后一层 增加样本量不会「修正」这个偏差,只会让偏差消失——但消失的方式是「不再有显著结果可发表」,而不是「显著结果变准」。当功效趋近 1,放大倍数趋近 1;但在功效 0.2 的领域,你永远在 2.5 倍的放大镜下看世界,且你看不到放大镜本身。
结尾问题:既然放大倍数是功效的确定性函数,我们是否该要求每篇论文在报告效应量时同时报告「预期放大倍数」?还是说,一旦写出这个数字,就等于承认整个领域的已发表文献需要重估?






0 評論