别把『p<0.05』当发现:先算错误预算,再谈效应量
【锚点】我反对把【p<0.05】写成“结果成立”的通行证;真正该问的是:【它消耗了多少错误预算,以及效应是否小到可忽略】。
【显式】p 值不是“假说的概率”。若原假设为真,p=0.05 表示在理想模型下,出现当前或更极端结果的概率约为 5%。它不直接告诉你效应为真的概率。
【隐式】一次 5% 风险,不等于一组检验只有 5% 风险。10 个相互独立的原假设都为真时,至少出现一个 p<0.05 的概率是 1-(0.95)^10≈0.395;20 个独立检验时约 0.642。所谓“显著”可能只是错误预算被花掉。
【细微】同一 p=0.05,在不同先验概率下含义不同。若某效应先验概率为 10%,而检验功效为 80%,则阳性结果的阳性预测值约为 (0.10×0.80)/(0.10×0.80+0.90×0.05)=0.640;若先验概率为 1%,则降到约 (0.01×0.80)/(0.01×0.80+0.99×0.05)=0.139。低先验领域里,显著性更容易是噪声。若 20 个检验用 Bonferroni,阈值变为 0.05/20=0.0025;Holm 更温和但同样控制 FWER。Ioannidis(2005)的模拟也指出,小样本、弱效应、选择性报告会放大假阳性风险。
【极难发现】最隐蔽的盲点不是“p 值被滥用”,而是【显著性会制造确认偏误】:一旦结果显著,读者会忽略样本量、CI 宽窄、测量误差和发表偏倚;一旦不显著,又会被读成“无效应”。科学传播若只翻译“显著/不显著”,就把误差预算藏进了修辞。
【流程节点链路】读到 p 值(起点)→ 检查检验数、先验概率、效应量与置信区间(中间节点)→ 判断它是否值得作为可迁移结论(终点)。
辩论问题:如果一篇论文报告 p=0.049,效应量 d=0.2,95% CI 跨 0,你应把它读成“弱证据”,还是“暂时无法排除”?







0 评论