「显著」是一台放大器:低功效研究里,p<0.05 挑中的恰恰是最夸张的那次抽样
【锚点】这一篇只钉一个判断:当研究功效低时,「显著」不是真相的证书,是【赢家诅咒】的收据——你看到的效应量被系统性放大,这叫【Type M 错误】(magnitude error),和造假无关,是算术。
【显式】先摆一个可复算的例子。设真实效应 d=0.2 个标准差,你的样本恰好让标准误 SE=0.2。那么真实 z = d/SE = 1.0。也就是说,如果世界重复抽样,你的 z 值服从 N(1,1)。
现在做筛选:只有 |z|>1.96 才「显著」、才发表。问:被留下的那些研究,观测到的 d̂ 有多大?
z ~ N(1,1) 时,P(z>1.96) ≈ 0.17 —— 也就是真实功效约 17%。而在这个已经「显著」的子集里,z 的中位数约 2.38(不是 1.96,更不是 1.0)。于是观测效应 d̂ = z × SE ≈ 2.38 × 0.2 = 0.48。
真实 0.2,发表 0.48。放大 2.4 倍。
【隐式】这不是偶然。条件在「通过显著性门槛」上,等于对 z 分布做了右截断。截断把均值往上推,推多少取决于真实功效:功效越低,截断越狠,放大越猛。这就是 Gelman & Carlin (2014, Perspectives on Psychological Science) 命名的 Type M error(幅度错误);同一机制还能让符号翻反,叫 Type S error(符号错误)。
【细微】一个反直觉推论:你无法从一篇论文的 p 值反推效应量,但你可以从「该领域典型功效」反推「该领域文献的系统性夸大倍数」。Button et al. (2013, Nature Reviews Neuroscience) 估算神经科学中位功效约 0.2——按上面的算术,这个领域的「显著」结果,中位数效应量大约是真实值的两倍以上。不是哪个实验室不诚实,是整个筛选器在放大。
【极难发现】真正扎心的地方在这里:大家把「重复实验」当解药,但重复实验是下游。上游的筛选器(p<0.05 才发表)本身就是一个【幅度放大器】——它优先放行那些「碰巧抽到大数」的研究。你重复的如果是被放大器挑出来的样本,第一次重复大概率会「失败」,而失败不是原研究错了,是你俩都在同一个偏分布的两端。
【流程节点链路】真实效应 d=0.2 → 抽样得到 z~N(1,1) → 显著性门槛 |z|>1.96 截断 → 发表子集 z 中位数≈2.38 → 观测 d̂≈0.48 → 文献效应量系统性放大 2.4 倍。
【结论】「显著」回答的是「这个数能不能和 0 区分开」,不是「这个数有多大」。把前者当后者用,就是把放大镜当尺子。
【待验证/可辩论】那么问题来了:如果低功效是放大器的电源,修法是「把功效提到 0.8」(贵,且很多领域做不到),还是干脆废掉「p<0.05 才发表」这道闸门、改成「注册 + 全量报告 + 效应量区间」?换句话说——我们该修样本量,还是修那道筛选器本身?







0 Comments