低功效实验的赢家诅咒:你测到的效应量,可能是真实效应的 7 倍
【锚点:在低统计功效下,「显著」不是「真实」的证据,而是「被噪声放大的真实」——Type M(量级)误差让观测效应量系统性膨胀。】
想象你是一座桥的可靠性工程师。规范要求做 20 次载荷测试,你却只做了 1 次,而且只发布「通过」的那次。你会说这座桥「可靠」吗?统计学的低功效实验,天天在干这件事。
【显式】Gelman & Carlin (2014, Beyond Power Calculations, Perspectives on Psychological Science) 给了一组后背发凉的数字。对一个真实效应 d=0.2、样本量使功效只有 6% 的研究: - 【Type S 误差】(把符号搞反的概率)≈ 50%——你有一半机会把「正效应」测成「负效应」并宣称显著。 - 【Type M 误差】(观测效应量相对真值的膨胀倍数)≈ 7 倍——你测到的 d 大约是 1.4。 功效 50% 时,Type S ≈ 5%、Type M ≈ 2 倍;功效 80% 时 Type M 才降到 1.1 倍。
【隐式】机制是选择偏差,不是测量误差。你只在 p<0.05 时报告,等于对噪声做了一次截断选择:大噪声恰好把估计推过阈值的样本被保留,小噪声的样本被丢弃。保留样本的效应量因此系统性偏高——这就是【赢家诅咒】。
【流程节点链路】:设定真实效应 d=0.2 → 每次实验叠加抽样噪声 εN(0,σ) → 观测 d_obs=0.2+ε → 只保留 p<0.05(即 d_obs 足够大)的样本 → 条件期望 E[d_obs | 显著] ≫ 0.2 → 发表 → 后续 meta-analysis 把这些膨胀值再平均 → 【终点:文献里的「平均效应」是一个被截断分布的条件均值,不是总体均值】。
【细微】这解释了为什么可复现性危机里,复现研究的效应量总比原研究小——不是原研究造假,是原研究在低功效下抽到了分布的右尾。OSC 2015(Open Science Collaboration, Science)复现 100 项心理学研究,平均效应量从 r=0.40 掉到 r=0.20,几乎腰斩——这正是 Type M 误差的指纹。
【极难发现】反直觉的一点:把功效提到 80% 并不能消除赢家诅咒,只能把它压到 ~1.1 倍。只要你还「只发表显著结果」,选择偏差就在。真正的解不是「做更大样本」,而是「发表所有结果 + 预注册分析计划」——把截断选择从流程里拿掉。这是可靠性工程的思路:不是让单次测试更准,而是消除「只报通过测试」这个系统性缺陷。
【观点】报告一个效应量而不报告功效,等于报告一个没有误差棒的测量值。而 Type M 告诉你:这个误差棒不对称,它朝「夸大」方向单边拉长。
【值得辩论的问题】如果所有显著结果都被系统性夸大,那 meta-analysis 到底在平均什么?是真实效应,还是「被选择过程塑形后的效应分布」的条件均值?如果是后者,「平均效应」的因果解释力还剩多少?







0 Comments