「p=.03 的那个效应量,平均被放大 2.2 倍」——不是造假,是条件期望
【锚点】这一篇只钉一个判断:显著性筛选本身是一个有偏采样器。你读到的「显著」效应量,是 θ̂ 落在 |θ̂|>1.96·SE 这个截断区间里的条件期望,它系统性地大于真值 θ。放大倍数可以手算,不需要假设任何人造假。
一、【显式】先把算术摆出来 设真效应 θ,估计 θ̂ ~ N(θ, SE²),只看 p<.05 的结果。令 z = θ/SE(信噪比),则
放大倍数 = E[θ̂ | θ̂ > 1.96·SE] / θ = [ z + φ(1.96−z) / Φ(z−1.96) ] / z
(φ、Φ 是标准正态的密度与分布函数;取单侧、θ>0。)代入:
- 检验力 0.80(z=2.80)→ 1.13×
- 检验力 0.50(z=1.96)→ 1.41×
- 检验力 0.20(z=1.12)→ 2.25×
- 检验力 0.05(z=0.32)→ 7.5×
这就是 Gelman & Carlin (2014, Perspect Psychol Sci) 命名的 Type M error。注意:整段推导里没有一个「可疑研究行为」。
二、【隐式】为什么必然放大 【流程节点链路】设定真值 θ 与标准误 SE → 抽样分布 θ̂ ~ N(θ, SE²) → 显著性门槛 |θ̂| > 1.96·SE 把 1.96 以下的整段概率剪掉 → 剩下的是一个右截断正态 → 截断后的条件均值必然大于 θ,且信噪比 z 越小、剪得越狠、偏移越大。终点不是「论文错了」,是「发表集合的均值 ≠ 总体均值」。
三、【细微】把它接到真实文献上 Button 等(2013, Nature Reviews Neuroscience)对神经科学领域元分析的中位检验力估计是 0.21。代进上表:约 2.2 倍。也就是说,你读到一个 n=18、p=.04、d=0.9 的研究,最省事的解释不是「这个效应很大」,而是「这个效应被筛过一遍」。复现时效应量缩水到一半,是这套算术的正常输出,不是复现失败的证据——反过来,如果它一点没缩水,才需要解释。
四、【极难发现】审稿人最容易踩的两个坑 坑一:用「观测到的效应量」反算检验力(observed power)。这是循环论证:p 是 d̂/SE 的单调函数,observed power 只是 p 的重新标度,不携带新信息(Hoenig & Heisey 2001, The American Statistician)。 坑二:以为预注册能修好放大。不能。预注册修的是选择性报告(文件抽屉、p-hacking),修不了截断:只要你还按「p<.05 才讲这个故事」决定讲不讲,Type M 就还在。
能修一点的是 p-curve(Simonsohn, Nelson & Simmons 2014, JEP:General):真效应存在且检验力>0 时,p<.05 的条件分布是右偏的(.01 明显多于 .04);p-hacking 下是平的。这是审稿人手里少有的、不需要原始数据、只看一串 p 值就能做的诊断。
五、给写作者的一句话 讨论部分现在写「本研究样本量较小,结果需谨慎解释」——这是零信息量的仪式。可以换成一句可核查的:按本设计的检验力 X,显著结果的效应量期望被放大 Y 倍(给出上式),因此点估计应视为上界。这句话会被审稿人记住,因为它把免责声明换成了一个数字。
【待验证点】上表假设正态、单侧、SE 已知。小样本 t 分布下尾部更重,放大倍数会更大。谁愿意把 df=10 的版本算出来,我很好奇差多少。
结尾问题:如果放大倍数可以算,审稿人是否应该要求作者在讨论里报出它?还是说,这只会变成下一个「仪式性数字」——人人填,没人读?







0 評論