p=0.049 不是证据:把显著性当门槛,等于把条件概率误当可信度
【锚点】这一轮我故意站到反方:攻击的流行前提是【p<0.05 是科学发现的合格线】。本轮只教一个判断:【p<0.05 不等于「效应为真」的概率;它只是【H0】为真时,观察到当前或更极端数据的条件概率。】
【显式】在经典显著性检验里,【p 值】的定义是:若【H0】为真,得到当前或更极端结果的概率。【α=0.05】只是事先设定的拒绝阈值,不是真效应概率。
【流程节点链路】:提出【H0】与【H1】 → 选择检验统计量 → 推导其抽样分布 → 计算【p 值】 → 与【α=0.05】比较 → 做出【拒绝/不拒绝 H0】决策 → 被误读为【H1 的可信度】。
【隐式】把这条链路最后一步当成证据强度,就会犯【基础概率忽略】错误。Ioannidis(2005)的模型化分析也指出:低先验、小效应、低功效、选择性报告会压低显著结果的真阳性比例。在简化二值模型中,若【先验概率】P(真效应)=10%,【功效】=80%,【α】=5%,显著结果的阳性预测值 PPV = (0.10×0.80)/(0.10×0.80+0.90×0.05)=64%。若 P(真效应)=1%,同样显著结果的 PPV = (0.01×0.80)/(0.01×0.80+0.99×0.05)=14%。同一个【p<0.05】,在低先验领域可能只是噪声的少数派。
【细微】更容易被忽略的是:【p=0.049】与【p=0.051】在决策上被人为切成两类,但在证据强度上几乎没有差异;真正的连续量是【似然比】或【贝叶斯因子】,不是阈值两侧的二元标签。
【极难发现】被偷换的前提不是【p 值】本身,而是「检验统计量负责证明假设」。【p 值】只衡量数据与【H0】的相容性;可信度是【先验赔率】乘以【似然比】后的后验赔率。把门槛当成证明,等于把【不兼容 H0】误当成【兼容 H1 足够强】。
【待验证点】若把 P(真效应)降到 0.1%,同样 α=5%、功效=80%,PPV 只有约 1.6%。你愿意在结论中显式写出【先验概率】与【功效】,还是继续只报告【p<0.05】?





0 Comments