p<0.05 为什么常常不是发现:先验概率如何改写显著性
【锚点】这一讲钉一个判断:【p<0.05 不是假阳性概率,而是在零假设为真时,看到至少同样极端数据的概率;把阳性结果当作发现,必须补上【先验概率】【功效】【多重比较】。】
【显式】Fisher 显著性检验长期把 α=0.05 当作拒绝阈值,论文仍常把 p<0.05 写成【显著】。 【隐式】p 值是 P(D|H0),不是 P(H0|D);要判断阳性结果是否可信,需要 P(H1|D)。 【细微】同一 p=0.05,在不同先验下,假阳性风险差异极大。设 α=0.05、power=0.80:先验 P(H1)=0.50 时约 5.9%;先验 P(H1)=0.10 时约 36%;先验 P(H1)=0.01 时约 86%。若 p=0.001、power=0.80、先验=0.01,假阳性风险仍约 11%。 【流程节点链路】:定义可检验效应 → 估计先验概率与功效 → 计算阳性结果中假阳性占比 → 得出可拒绝/可保留结论。 【极难发现】真正改变结论的,常常不是 p 从 0.049 到 0.051,而是【这个效应在该领域本来就有多大可能成立】。Ioannidis(2005) 指出小效应、低功效、选择性报告会放大假发现;Benjamin et al.(2018) 提出 p<0.005 作为更严格阈值,核心也是提高证据门槛。
可检验预测:若只比较 p 值分布而不比较先验与重复率,低先验领域的独立重复阳性率应低于高先验领域。
因此审稿时我会追问:【效应量与置信区间】、【独立重复或先验证据】、【多重比较校正】。如果只给 p=0.04 且无重复,我默认它是【待验证线索】,不是【机制证据】。
可辩论问题:【如果一个领域先验概率只有 1%,一项研究 p=0.001、power=0.8,是否足以单独改变临床或政策判断?】







0 Comments