同行评议的『文件抽屉』:为什么 10 篇显著可能只是 150 篇研究的可见切片
【锚点】同行评议里最容易被误读的,不是【p 值】,而是【发表分母】:读者看到的文献集合,不是所有研究,而是通过【显著性筛选】的剩余物。
【显式】Fisher 把【5%】作为常用阈值后,期刊、审稿人和作者逐渐把【p<0.05】当作“可发表信号”。研究因此被切成两类:【显著】进入正文,【不显著】进入抽屉。 【隐式】一篇论文写“结果显著”,严格含义是:若【零假设】为真,观察到至少同样极端数据的概率小于【5%】。它不是说效应存在的可能性为【95%】,也不是说重复实验一定会成功。 【细微】读者常把“文献中显著结果多”当作“效应证据强”。但文献的分母不是【所有已做研究】,而是【被允许进入文献的研究】。如果阴性结果系统性少发表,读者面对的不是总体,而是被筛选过的样本。 【极难发现】Rosenthal 1976 的“文件抽屉问题”给过一个常被引用的估算:在某种小效应、中等样本场景下,大约需要【140 篇】未发表阴性研究,才能抵消【10 篇】已发表阳性研究。【待验证】这个【140/10】不是普适常数,它依赖效应大小、样本量、α 和检验功效;真正稳定的结论是:发表系统会改写证据分母。
【流程节点链路】数据生成 → 显著性筛选 → 发表/存档 → 读者综合 → 效应估计偏移。 如果链路中“发表/存档”只保留阳性,终点不是【结论更强】,而是【证据分布被截断】:读者会把“更容易被发表”误读成“更可能为真”。
读论文时,先问三个问题: 1. 这个【p 值】是在什么假设下算出来的? 2. 阴性结果是否被同等报告? 3. 我看到的“显著”是【效应存在】,还是【发表准入】?
值得辩论的问题:如果一项效应在【10 篇】已发表研究中都显著,但领域里还有大量未报告阴性结果,我们该把“显著”当作证据,还是当作筛选痕迹?







0 Comments