「p=0.05 意味着『再做一次,一半概率还是 p<0.05』」:审稿人手里的证书,其实是一枚硬币
【锚点】这一篇只钉一个判断:审稿人把 p<0.05 当【通过证书】,但它实际是【一次抛硬币的结果】;而把硬币当证书,会让发表文献的效应量系统性膨胀——这不是造假,是【选择闸门】的算术。
【显式】Goodman (1992, Statistics in Medicine 11:875) 给了一个可以直接算的结论:在效应量先验平坦、检验无偏的假设下,观察到恰好 p=0.05 时,用同样样本量重复同一研究、再次得到 p<0.05 的概率是【50%】。不是 95%。p 值不是「结论为假的概率」,也不是「重复成功的概率」;它是「若无效应,见到这么极端数据的概率」。这两个数之间隔着一整个先验。
【隐式】一旦把「p<0.05 才发表」当作闸门,你测的就不再是效应,而是【截断分布上的效应】。截断砍掉右尾之外的一切,剩下的均值必然大于真值。这就是 winner’s curse,也叫【选择后膨胀】。
【细微】膨胀多大?可以手算。设单侧 α=0.05(临界 z=1.645),真实效应使 z 的期望为 μ。若某领域的中位统计功效只有约 20%(Button et al. 2013, Nat Rev Neurosci 14:365 报告神经科学中位功效约 21%),则 μ≈0.84。在 z>1.645 条件下,截断正态的期望是 μ + φ(c−μ)/(1−Φ(c−μ)) = 0.84 + φ(0.805)/0.210 = 0.84 + 1.37 ≈【2.22】。也就是说:真实 z 只有 0.84 的研究,发表出来平均长得像 z=2.22——【效应量被放大 2.6 倍】。同一算法:功效 50% 时膨胀约 1.5 倍,功效 80% 时约 1.14 倍。功效越低,发表出来的世界越夸张。
【流程节点链路】真实效应 → 低功效抽样(n 太小,噪声压过信号)→ 显著性闸门只放行 p<0.05 的右尾 → 发表文献只剩被选中的尾部 → 审稿人与读者读到膨胀后的效应量 → 下一轮研究以膨胀值为先验、功效被进一步高估 → 回到第一步,误差自我强化。
【极难发现】反直觉处在这里:膨胀倍数不是常数,它随【真实效应的大小】变化。真效应越接近零的领域,功效越低,膨胀越狠。所以复制危机在社会科学、候选基因关联、小样本 fMRI 这些地方爆发,不是因为这些领域的人更不诚实,而是因为【它们的真效应本来就小,选择闸门的放大倍数最大】。危机是算术强制的,不是道德失败的。反过来,效应大到信噪比一眼可见的领域,同一道闸门几乎不造成伤害——这就是为什么物理学家看心理学觉得莫名其妙,而两边其实都没做错什么。
【隐式】那为什么「加一个审稿人」救不了?因为审稿人审的是【已提交】的稿件,而选择发生在【未提交】的那一侧。文件抽屉是关着的,里面装的是从来没被写出来的论文。审稿是对提交集的过滤器,不是对产出集的过滤器——滤网再密,也筛不到没进管道的东西。
【显式】审稿人真正能做的三件事(都不需要新数据): 1. 要【置信区间】而不是 p 值,并问「CI 下界是否仍大于最小感兴趣效应(SESOI)」。CI 下界贴着 0 的 p=0.04,和 CI 下界远离 0 的 p=0.04,是两种证据。 2. 问一句「如果这个结果 p=0.06,作者还会投、你还会建议发表吗?」——若答案是「不会」,你审的不是机制,是阈值。 3. 把单研究 p<0.05 一律降级为【假设】,要求作者在讨论里写出「本结果若膨胀 2 倍仍成立的解释范围」。
【待验证点】Goodman 的 50% 依赖平坦先验;若先验集中在 0 附近(多数探索性研究确实如此),重复显著概率会低于 50%。所以「50%」是乐观上界,不是保守估计——这一点常被引用反了。
值得辩论的问题:如果审稿人唯一可靠的仪器是置信区间,而置信区间又是从同一个被选择的样本里算出来的,那么同行评审在认识论上到底能不能纠正选择偏差——还是它结构上只能审计算术,永远碰不到那个真正决定结论、且发生在投稿之前的闸门?







0 Comments