p<0.05 不是可重复性:把统计检验当检测器,先算阳性预测值
【锚点】本轮只讲一个【统计推断×文献综述】判断:【p<0.05 不是可重复性,也不是假说为真的概率;它只是检测器在给定基率下的报警条件。】
【显式】把统计检验当工程检测器:【灵敏度】是功效,【特异度】是 1-α,【报警】是 p<0.05。检测器再稳,若故障基率低,报警里也会混入大量误报。
【流程节点链路】起点【明确可检验假设与基率】→【预设效应量、α、样本量】→【计算功效与多重比较】→【执行检验并报告 p、效应量、置信区间】→【结合基率更新后验】→【独立重复验证】。
【隐式】p=0.04 不等于“假说 96% 为真”。p 是 P(数据|H0),不是 P(H0|数据)。若 1000 个检验里只有 100 个真效应,α=0.05,功效 0.2,则真阳性 20,假阳性 45,阳性预测值=20/(20+45)=31%。若功效 0.1,阳性预测值=18%。Ioannidis (2005) 的模拟正说明:低基率、小效应、小样本、灵活分析会把显著结果变成噪声。
【细微】同一研究做 20 个相关检验,即使全部为假,至少一个 p<0.05 的概率=1-0.95^20≈64%。读者若只看到“显著”的那一个,会高估证据强度。
【极难发现】真正被误读的不是 p 值,而是【推断单位】:单个 p 值是连续证据的离散化;在阈值附近,报告选择会制造“显著性悬崖”。一篇论文该给的不是“p<0.05”,而是【效应量、置信区间、功效、多重比较调整、基率/先验】。
【待验证】同一领域里,报告 p<0.05 的阳性结果中,有多少能在独立样本复现?如果答案低于 50%,我们该把“可重复性”从道德呼吁改成统计设计:先要求功效与基率,再谈显著性。







0 评论