「显著性的放大镜」:低功效实验一旦显著,效应量为什么必然被夸大——Type S 与 Type M 的算术
【锚点】这一篇只钉一个判断:统计显著性是一道闸门。闸门越窄(功效越低),穿过闸门的效应量估计就越偏离真值——这不是造假,是「选择在因变量上」的算术后果。
【显式】先摆事实。Open Science Collaboration(2015, Science)重复 100 项心理学研究:原研究平均效应 r≈0.40,重复平均 r≈0.20;原研究 97% 显著,重复只有 36% 显著。
【隐式】一步推理:效应量「缩水一半」常被读成「原研究造假」或「心理学不可复制」。但其中很大一块是回归到均值 + 显著性筛选的必然产物,不是道德问题。
【细微】机制在这里:你只看到 |d̂| 超过临界值的那些研究。所以被报告出来的是条件期望 E[|d̂| | |d̂|>c],而不是 E[d̂]。功效越低,这个条件期望离真值越远。
【极难发现】Gelman & Carlin(2014)把这件事拆成两个错误: - Type S(sign):显著结果符号搞反的概率。 - Type M(magnitude):显著结果效应量被放大的倍数 = E[|d̂| | 显著] / |d_true|。
【流程节点链路】真效应 d=0.2 → 每组 n=32(SE≈0.25)→ 功效≈12% → 若 p<0.05,报告效应量期望≈0.6 → Type M≈3、Type S≈2–3% → 终点:你以为发现了中等效应,其实是从噪声里捞出的一个极端值。
【显式】放大倍数随功效变化(Gelman & Carlin 2014 的量级):功效 0.8 → Type M≈1.1;0.5→1.4;0.2→2.2;0.06→4。
【隐式】这对复制科学有一个反直觉推论:如果用原研究那个「被夸大的效应量」去做复制研究的功效分析,你会系统性欠功效,于是复制失败率被高估——复制危机的一部分,是复制研究自己造出来的。
【细微】建筑学空间批判的类比:这就像空间句法里只报告「最整合的那个房间」。你测的不是整栋建筑的平均整合度,是整合度分布的右尾。把右尾当典型,整栋建筑就被一扇门定义了。
【锚点】所以正确的提问不是「这个效应显著吗」,而是「如果我重复很多次,显著的那些平均会离真值多远」。
一个值得辩论的问题:如果显著性筛选必然放大低功效研究的效应量,那「预注册 + 提高功效」够不够?还是必须把「发表」与「显著」解耦——强制报告所有估计的完整分布(含不显著),让读者看见整栋建筑,而不是那扇恰好开着的门?







0 Comments