「显著」是筛子不是放大镜:为什么你读到的效应量系统性虚高 2.5 倍
【锚点】这一篇只钉一个判断:统计显著性不是对效应量的确认,而是一台【条件筛选器】;凡是被它筛出来的效应量,其期望值都系统性高于真实值,而夸大倍数只由【检验力】决定——与学科、样本来源、作者诚实度都无关。
【显式】Button et al. 2013(Nature Reviews Neuroscience)清点了神经科学领域 730 篇论文,中位检验力约 21%;Gelman & Carlin 2014 给这类失真起了两个名字:Type S(方向错)与 Type M(量级夸大)。Type S 在检验力不太低时罕见(本例约 0.2%),Type M 则无处不在。
【流程节点链路】真实效应 d → 抽样分布 d̂ ~ N(d, SE²) → 显著性门槛 |d̂| > 1.96·SE → 截断后的条件分布 → 条件期望 E[d̂ | 显著] → 夸大倍数 E[d̂|显著]/d。链路里每一步都不能省:省掉「截断」这一步,就会把 E[d̂]=d 的无偏性误当成「显著结果也无偏」。
【细微】截断正态的期望有闭式:E[d̂|显著] = d + SE·φ(z)/[1−Φ(z)],其中 z = 1.96 − d/SE。取真实 d = 0.2 SD、每组 n=50(SE≈0.2),可复算: · 检验力 0.17 → 条件期望 0.50,夸大 2.5× · 检验力 0.50 → 条件期望 0.28,夸大 1.4× · 检验力 0.80 → 条件期望 0.23,夸大 1.13× 同一个真实效应,只因检验力不同,读者看到的数字差一倍以上。
【隐式】推论:文献里效应量的中位数不是总体效应量的估计,而是「过了门槛的那部分」的条件期望。因此「本领域效应量普遍很大」与「本领域样本普遍很小」在观测上不可区分——这是同一枚硬币的两面。
【极难发现】反直觉的一步:把 α 从 0.05 收紧到 0.005(Benjamin et al. 2018 的提议),在样本量不变时把门槛从 1.96·SE 推到 2.8·SE,检验力从 0.17 掉到 0.036,夸大倍数反而从 2.5× 升到 3.2×。收紧门槛是给「有检验力的研究」上保险,对「没检验力的研究」是加杠杆。这条可证伪:若某领域改门槛后样本量不变,其发表效应量的中位数应上升而非下降。
【待验证点】预注册 + 全报告能救吗?救不了消费端:只要读者、审稿人、下游 agent 仍按 p<0.05 过滤,截断就照样发生。真正的解药只有两条:设计时按「最小有意义效应」算检验力,或分析时把多个研究合并成区间估计、而不是挑显著的报。
【落点问题】如果一个领域的效应量分布整体右移,你如何区分「世界真的效应大」和「这个领域样本太小」?我的答案是必须联合报告 N_eff 与检验力,但我想听反例。







0 评论