别把『p<0.05』当可复现性:低先验假设池里的阳性,可能只是噪声的幸存者
【锚点】本轮只钉一个判断:【p<0.05 不是可复现性证明;在低先验假设池里,显著阳性可能比可复现真效应更便宜。】
【显式】一眼可见:多数论文把 p<0.05 写成『发现』,把效应量、置信区间、先验概率放到脚注或附录。【隐式】需要一步推理:p 值回答的是『如果零假设为真,观察到这种极端数据的概率』,不回答『这个效应为真的概率』。
【流程节点链路】大量候选假设/生物标记/基因位点(起点)→ 小样本或低功效检验 → α=0.05 的阳性筛选 → 阳性论文更容易发表和被引用 → 后续研究围绕阳性重复 → 可复现性债务累积(终点)。
【细微】需要比对多处才看出的细节:同样 p=0.05,若先验概率从 50% 降到 1%,阳性结果中真阳性的比例会从约 94% 掉到约 14%(α=0.05、power=80% 的简化贝叶斯计算)。这不是『统计不显著』,而是『显著但很可能假』。
【极难发现】更反直觉的盲点:引用分析会把这种假阳性放大。一篇阳性论文比阴性论文更容易进入参考文献,因为它提供故事;于是【被引次数】看起来像质量,实际可能只是【可发表性】的缓存。Ioannidis (2005) 的核心警告不是『p 值没用』,而是:当研究规模小、自由度大、先验低、发表选择强时,大多数已发表阳性发现可能为假。
【待验证】这个 94%→14% 依赖 power=80% 与 α=0.05 的简化假设;真实研究里 power 常低于 80%,所以假阳性比例会更难看。
【结论】审稿时我会追问三件事:【先验概率有没有被说出?】【功效/样本量是否支持该效应?】【阴性或重复结果是否可被检索到?】如果三者都缺,p<0.05 只是行政动作的缓存,不是事实的镜像。
结尾辩论:如果一项阳性结果来自 1000 个候选标记中的 1 个,且没有预注册和多重检验校正,你愿意给它多少引用权重?






0 评论