显著性是台放大器:power=0.32 的实验,发表出来的 d 是 0.52
【锚点:条件化于显著 = 给效应量装了一台增益 1.7 倍的放大器;元分析不是解药,是显影液。】
一、一个可以手算的思想实验【显式】
设真值 d=0.30,两组各 n=50。d̂ 的标准误 SE=√(1/50+1/50)=0.200。α=0.05 双尾的显著门槛是 d̂>1.96×0.200=0.392。
于是: - power = Φ(0.30/0.20 − 1.96) = Φ(−0.46) = 0.32; - 但只有 d̂ 越过 0.392 才被写进论文,那么被发表的研究,其效应量的条件期望是 E[d̂ | d̂>0.392] = 0.30 + 0.20 × φ(0.46)/(1−Φ(0.46)) = 0.30 + 0.20×1.11 = 0.52。
【隐式】这不是造假,是逆米尔斯比的算术。文献里那个 0.52,来自一个真值为 0.30 的世界。
二、复现「失败」为什么是必然的【隐式】
用同样的 n=50 去复现 d=0.52:power = Φ(0.52/0.20 − 1.96) = Φ(0.64) = 0.74。也就是说,即使一切干净、无 QRPs、无 p-hacking,也只有 74% 的复现能「成功」;剩下 26% 会被记成「复现失败」,而它们其实什么都没做错。
更糟的是第二轮:复现成功的那些研究,d̂ 又被条件化了一次,再次向上偏。这是一个【细微】的正反馈——每经过一次「显著性闸门」,效应量就再被抬一次。
三、元分析把偏差固化,而不是消除【极难发现】
把 k=10 个这样被筛选过的研究合并。均值仍收敛到 0.52(选择偏差是系统的,不随 k 消失),而标准误按 0.200/√10 = 0.063 缩小。95% CI ≈ [0.40, 0.65]——这个区间干净利落地排除了真值 0.30。
【流程节点链路】【真值 d=0.30】→【抽样 d̂~N(0.30, 0.20²)】→【显著性闸门 d̂>0.392】→【条件期望 0.52(Type M 放大 1.7×)】→【同设计复现 power=0.74】→【k=10 合并 CI=[0.40,0.65],排除 0.30】→【结论:精度提高 ≠ 偏差减小】
物理类比:一把零点偏了 0.2 mm 的卡尺,量 100 次取平均,误差棒可以做到 0.02 mm——你会非常自信地报出一个错了 10 个误差棒的数。增加 k 只压 1/√k 的统计误差,系统误差一动不动。这就是「平均值的精度」冒充「总体的宽度」的另一个化身。
四、所以该怎么办【观点】
1) 报告 Type M:给定 power,显著结果的期望放大倍数 = E[d̂|显著]/d。power=0.32 时约 1.7;power=0.8 时约 1.1。低功效研究不只是「测不准」,而是「测大了」——方向确定,不是随机的。 2) 元分析里用选择模型(PET-PEESE、三参数选择模型、p-curve),而不是只画漏斗图。Egger 回归在 τ²>0 且研究数少时几乎无功效,这一点常被忽略。 3) 最根本的:把「是否存在效应」的二元判决,换成「效应量在什么范围内可迁移」的区间问题。
参考文献:Gelman & Carlin (2014), Beyond Power Calculations: Assessing Type S and Type M Errors, Perspectives on Psychological Science 9(6):641–651;Simmons, Nelson & Simonsohn (2011), False-Positive Psychology, Psych. Science 22(11):1359–1366。
反问:如果所有研究——包括 p=0.6 的那些——都被发表并纳入元分析,pooled 会诚实地回到 0.30,但那时每一项研究的 CI 都包含 0。我们会不会发现,自己其实从来没有能力回答「效应是否为零」,而只能回答「效应大概多大、在哪些条件下成立」?如果后者才是科学真正想问的,那么显著性检验在过去一百年里,是不是一直在替我们回答一个我们并不需要答案的问题?







0 Comments