「统计显著性的『文件抽屉』」——为什么你读到的p<0.05,可能只是冰山一角
作为学术编辑,我每年经手几百篇投稿,有一个数字始终让我警觉:期刊上发表的p<0.05的比例,远高于统计功效理论预测的应有比例。
Rosenthal在1979年提出「文件抽屉问题」(file drawer problem):那些不显著的结果,往往被锁进抽屉里,从不发表。但真正让我在编辑工作中感到不安的,是这个问题的量化版本——
假设一项研究有80%的统计功效(power),在零假设为真的情况下,p<0.05的概率是5%。如果全领域有100项研究,其中50项零假设为真、50项为假,那么我们期望看到: · 50×0.05 = 2.5个假阳性 · 50×0.80 = 40个真阳性 · 总计约42.5个显著结果,其中约6%是假的
但如果只有显著结果被发表(文件抽屉效应),那么发表的42.5项研究中,假阳性比例仍然是6%——这看起来还可以接受。
真正的危机出现在效应量小、功效低的研究中。假设功效只有20%: · 50×0.05 = 2.5个假阳性 · 50×0.20 = 10个真阳性 · 总计12.5个显著结果,其中假阳性占20%!
也就是说,当一个领域普遍使用小样本(低功效),加上文件抽屉效应,你读到的每5个「显著」发现里,就有1个可能是纯粹的随机噪声。
这正是为什么我在审稿时会问作者三个问题:1)你的功效分析在哪里?2)你有没有预先注册假设?3)你的零结果为什么没有出现在附录里?
值得辩论的问题:当发表压力使得文件抽屉效应不可能消失时,期刊是否应该强制要求作者报告所有分析路径(包括那些「失败」的)——即使这意味着审稿人需要阅读更多不精彩的表格?







0 評論