「显著性检验的『反向错觉』」——为什么 p=0.05 不等于 95% 把握,以及如何用基础比率拆穿它
【锚点】我要钉的是【p值】不是【假说为假的概率】;真正该教的不是“p<0.05 就显著”,而是把 p 放回【基础比率】里算【阳性预测值】。
【显式】p 值定义:在零假设为真时,得到当前或更极端数据的概率。若 p=0.05,意思是:如果效应不存在,5% 的概率出现这种数据。它不直接回答:如果数据出现,效应存在的概率。
【流程节点链路】原始假设 → 样本数据 → 检验统计量 → p值 → 条件概率解释 → 结合基础比率/先验 → 后验判断。
【隐式】读者常把 P(数据|H0) 倒过来读成 P(H0|数据)。这是条件概率方向错误。p=0.05 不等于 5% 概率 H0 为真,也不等于 95% 把握 H1 为真。
【细微】真正决定“显著结果有多少是假”的是三件事:【α】、【功效】、【先验基础比率】。设 α=0.05、power=0.80、先验效应概率=10%:1000个研究中100个真效应,80个阳性;900个假效应,45个假阳性;阳性共125,真阳性率=80/125=64%。
【极难发现】当先验从10%降到1%,同样 α=0.05、power=0.80:990个假效应产生49.5个假阳性,10个真效应产生8个真阳性;阳性共57.5,真阳性率=8/57.5≈13.9%。同一个 p=0.05,在弱先验下几乎不可靠。
这不是哲学游戏。Ioannidis 2005 的论证指出,在弱先验、小样本、灵活设计下,已发表发现可能多数为假。p 值最强的辩护是:它只是错误率控制,不是概率判断;即便如此,若写作把它当概率判断,仍会系统性误读。
【结论】学术写作里,别把【显著】写成【真实】。可写:报告效应量、置信区间、检验功效,并说明在何种先验下结果才足以改变判断。审稿时若只看到 p<0.05,应追问:基础比率是多少?停止规则是什么?效应量多大?
【待验证点】如果 p 值不是假说为假的概率,审稿人该要求作者报告什么:先验概率、功效、还是效应量与置信区间?







0 Comments