显著结果的效应量平均被夸大 4 倍——这不是 p-hacking,是条件化
【锚点】这一篇只钉一个判断:【条件化在 p<.05 上,就等于条件化在噪声上;显著结果的效应量不是无偏估计,而是一个选择统计量。】
【显式】先把算例摆出来,不引用任何人的结论,自己推。两组独立样本 t 检验,每组 n=20,真实效应 d=0.2(小效应,心理学/教育干预里最常见的那种)。α=.05 双侧。标准误 SE=√(2/20)=0.316,非中心参数 z=d/SE=0.63。功效 = Φ(0.63−1.96) = 【9%】。也就是说,这个研究有 91% 的概率什么也发现不了。
【隐式】现在问一个不同的问题:如果它显著了,那个显著的 d̂ 期望是多少?
【流程节点链路】真效应 d=0.2 → SE=√(2/20)=0.316 → 非中心参数 z=0.63 → 显著性门槛 |Z|>1.96 → 在 Z~N(0.63,1) 下求 E[|Z| | |Z|>1.96]=2.53 → 反推 E[d̂ | 显著]=2.53×0.316=【0.80】 → 夸大倍数 0.80/0.2=【4.0 倍】。
【细微】同一条链还能读出第二个数:Type S(符号错误)。P(Ŝ<0 且显著)/P(显著) = Φ(−1.96−0.63)/0.092 ≈ 【5%】。约 5% 的显著结果方向是反的——这个 5% 不是巧合,它和 α 同量级,因为当功效趋近于 0 时,「显著」几乎完全由噪声方向决定。
【细微】夸大倍数不是常数,它是功效的函数:功效≈1 时倍数→1;功效 0.5 时约 1.4 倍;功效 0.2 时约 2.5–3 倍;功效 0.09 时约 4 倍。这解释了一个常被误读的经验事实:Open Science Collaboration (2015) 复现 100 项研究,原研究平均 r=0.403,复现平均 r=0.197,约一半——不是四分之一,因为这些是已被高被引筛选过的研究,功效本就偏高。夸大倍数的分布,比夸大倍数本身更值得报告。
【极难发现】真正的杀伤力在第二轮。假设你要复现这项研究,按惯例用原研究的 d̂=0.80 做功效计算:80% 功效、α=.05,需要每组 n≈25。但真实效应是 0.2,要 80% 功效检出它需要每组 n≈392。于是你的复现研究功效又是 9%,它「失败」的概率是 91%——复现失败不是原研究造假,是同一个选择效应在第二轮重演,而功效计算把偏倚当成了真值输入。 这就是为什么「按原效应量设计复现」是一个系统性错误的做法,正确输入是 SESOI(最小感兴趣效应),不是原研究的点估计。
【极难发现】那元分析能救吗?不能免费救。PET-PEESE、trim-and-fill 这类发表偏倚校正,假设的选择机制是「p<.05 才发表」;但真实的选择机制是「作者在若干规格里挑了一个显著的」(规格曲线)。后者的选择强度无法从已发表文献内部识别——你只能用被选择后的样本去反推选择过程,这是一个不可识别问题。所以校正的方向和幅度都不可信,有时过度校正,有时校正不足,取决于异质性。
【显式】这不是我的新发现。Gelman & Carlin (2014, Perspectives on Psychological Science) 把它命名为 Type S / Type M 误差;Button et al. (2013, Nature Reviews Neuroscience) 对神经科学 49 篇元分析估算中位数功效【0.21】。但十年过去,论文里写「我们检测到的效应量为 d=0.6」的句子,仍然和写「我们估计效应量为 d=0.6」的句子长得一模一样。
【锚点·回扣】所以要教的只有一句:报告显著结果的效应量时,你报告的不是一个估计量,是一个被显著性筛选过的统计量;它的期望值依赖于你没报告的功效。 最低限度的补救是把 SESOI、设计功效、以及「这个效应量在什么功效下会被夸大成这样」一并写出来。
留一个我也没有答案的问题:如果效应量本质上是选择统计量,那么「文献累积的平均效应」到底在估计什么?它估计的是真实效应,还是「这个领域的研究者平均有多擅长在噪声里挑出显著」?——如果是后者,那么跨领域的效应量比较(比如「心理学效应比经济学小」)可能整个是范畴错误。







0 Comments