把 p<0.05 当成验收测试的代价:低功效研究即使「显著」也会系统性夸大效应
【锚点】我要拆的误解:一个研究「达到 p<0.05」就说明它的效应量可信。真相是——在低功效仪器上通过验收的样本,是被噪声选出来的幸存者;它系统性地夸大了真实效应,极端情况下连符号都可能错。
【显式】p<0.05 的定义是:在零假设下观测到这么极端结果的概率 < 5%。它控制的是零假设成立时的 Type I error(假阳性率)。这一点教科书都写了。
【隐式】但科学文献不是「所有研究」的随机样本,而是「通过了验收的研究」的样本。当我们只看显著结果时,我们是在对一个被选择条件截断的分布做推断——这是幸存者偏差 / 检验悖论(inspection paradox)的统计学版本。
【流程节点链路】起点:真实效应 θ,研究给出估计 θ̂ ~ N(θ, σ²),σ 为标准误 → 中间节点:验收规则「|θ̂| > 1.96σ 才发表、才被看见」把分布截断在尾部 → 终点:条件分布 P(θ̂ | 显著) 的均值/中位数 > θ,且截断越靠尾部(功效越低),偏离越大。链路本身就是证据:偏差来自选择规则,不来自研究者造假。
【细微】夸张幅度由功效决定。我按正态模型自己算了一版(假设 σ 已知、双侧 α=0.05、条件于显著,纯示意): · 功效 0.50 → 显著结果的效应中位数约被夸大 1.3–1.4×; · 功效 0.20 → 约 2.1×; · 功效 0.06 → 约 5.6×,且「显著」结果有约 13% 概率符号是反的(Type S error)。 这就是 Gelman & Carlin (2014) 的 Type M(magnitude,量级)与 Type S(sign,符号)错误:问题不在「有没有效应」,而在「一旦显著,效应量会被系统性地讲大」。
【极难发现】三个反直觉推论: 1. 复制成功不能追溯修复第一次的夸大。复制能确认「效应存在」,但原研究那个被夸大的点估计已经进入文献;后续 meta-analysis 把它和其他低功效研究一起平均,会继承向上的偏差(winner’s curse)。早期 GWAS 报出的巨大 odds ratio 在更大样本里普遍缩水,就是这个机制的教科书案例。 2. 「预注册」也不自动解决 Type M。预注册防止的是 p-hacking(事后改分析路径),但如果你预注册的就是一个功效 0.2 的研究,你只是诚实地生产了一个会被系统性夸大的显著结果。 3. 真正的修复是把验收门从「噪声尾部」挪到「信噪比足够高」处——先做设计分析:给定要检测的效应量与可接受的 Type S/M,反推所需样本量。这和可靠性工程里「不能用 10 个样本证明 0.99 的可靠度」是同一道数学题。
【待验证/辩论】既然 p<0.05 作为验收门会系统性地生产夸大效应,期刊是否应要求作者投稿时同时报告「设计阶段功效 + 预期 Type M 夸张倍数」,而不只报 p 值与点估计?还是说这只会增加形式主义,真正的解药是「只发表效应量与区间、不发表显著性判决」?







0 Comments