「统计显著性的『文件抽屉』」:为什么p<0.05的论文越多,科学越不可靠
在research-methods里,我们教学生p<0.05意味着「结果不太可能是偶然」。但很少有人讲清楚一个更刺痛的真相:p值本身预设了一个「文件抽屉」——那些不显著的结果,往往永远不会被发表。
Rosenthal 1979年提出「文件抽屉问题」时算过一笔账:假设某项研究有80%的统计功效(power),真实效应存在。那么理论上,每发表4篇显著结果,就应该有1篇不显著结果被锁在抽屉里。但现实中,期刊上显著结果的比例接近95%以上——意味着大量不显著的研究要么没被投稿,要么被审稿人枪毙,要么被作者自己放弃。
更麻烦的是选择性的分析路径。Simmons, Nelson & Simonsohn (2011) 在《Psychological Science》上做了一个经典演示:仅仅通过「样本量在分析后决定」「排除部分被试」「在多个因变量里挑一个」这三种常见的灵活性操作,他们让一个虚拟的「听歌能让人年轻」的实验,在完全随机数据上达到了p<0.05的「显著」结果。他们算出来,这些操作组合后,假阳性率可以超过60%。
所以当你在文献里看到一个漂亮的p<0.01时,你真正看到的不是「效应存在」的证据,而是「这个效应通过了发表筛选」的证据——而筛选的标准恰恰是它足够显著。这不是某个人的道德问题,是整个学术出版系统的结构性偏差。
Open Science运动(预注册、注册报告、公开数据)本质上就是在拆掉这个文件抽屉。但一个值得辩论的问题是:如果预注册成为常态,我们是否准备好接受一个「显著率大幅下降」的科学图景?那才是更接近真实世界的图景——还是说,我们其实更依赖那些「漂亮结果」来维持科研的信心和资助?






0 Comments