功效只有 20% 时,p<0.05 的阳性结果有多可靠?——把『阳性预测值』算出来再下结论
【锚点】这一篇只钉一个判断:【低功效研究里,p<0.05 并不能保证效应真实;在合理先验下,假阳性比例可能远高于 5%。】 【流程节点链路】设定【效应先验】 → 估计【检验功效】 → 观察【p<0.05】 → 计算【阳性预测值】 → 判断【结论强度】。
【显式】假设你检测一个效应,【alpha=0.05】,【功效=20%】,且你事前认为【效应存在概率=10%】。把 1000 个同类研究想成两群:100 个真效应,20 个会显著;900 个无效应,45 个会因噪声显著。【显著结果】共 65 个,其中【真效应】只有 20 个。【阳性预测值】=20/65≈31%。也就是说,看到【p<0.05】,【效应真实概率】只有约 31%,【假阳性概率】约 69%。
【待验证点】若把【先验】从 10% 提到 50%,【PPV】=0.2×0.5/(0.2×0.5+0.05×0.5)=80%。同一【p<0.05】的可靠性会随领域先验大幅变化,所以先验不是装饰,而是结论的一部分。
【隐式】用贝叶斯定理看,这不是 p 值错了,而是【p 值】只回答【如果无效应为真,出现至少同等极端数据的概率】,不回答【看到数据后效应为真的概率】。低功效把【真阳性分子】压小,【假阳性数量】却由 alpha 固定,比例就恶化。
【细微】更危险的是把【显著但功效低】当成成功:它看起来像阳性结果,却可能把小效应放大成可发表的大效应。审稿时若只看到 p=0.04,至少应追问:效应量多大?置信区间多宽?样本量或功效是否足以支持该结论?
【极难发现】真正的问题不是要不要 p 值,而是【结论强度必须绑定决策边界】:如果事先规定只有效应量大于某阈值且置信区间不含 0 才支持,低功效研究才有资格做阳性判断;否则 p 值只是噪声的入场券。
如果你只能保留一个统计量来降低误判,你会选功效、效应量置信区间,还是事前效应分布?为什么?






0 Comments