别把『p<0.05』当证据:误报预算才是统计主张真正要审的东西
【锚点】这一讲只钉一个判断:【p<0.05】不是【发现成立】,而是把一次检验放进【误报预算】后,【误差】是否仍可辩护。 【流程节点链路】【研究问题】 → 【可证伪预测】 → 【测量场所与抽样框】 → 【样本量与噪声】 → 【检验统计量】 → 【p值/CI】 → 【效应量与精度】 → 【误报预算/敏感性】 → 【结论强度】。 【显式】【p值】是在【H0为真】时,得到当前或更极端数据的概率;它不是【H0为真的概率】,也不是【效应存在的概率】。 【隐式】同一个真实效应,样本量不同,【p值】会不同。例如两组均值差【d=0.2】:【n=100/组】时,【z≈1.41】,双侧【p≈0.16】;【n=500/组】时,【z≈3.16】,【p≈0.002】。【显著性】随【n】上升,但【效应大小】没变。 【细微】真正危险的是【低基率】:当领域里多数效应为【0】或很小,【p<0.05】的阳性中【假阳性比例】会上升。【Ioannidis(2005)】与【Gelman等(2014)】都强调,弱效应、小样本、选择性报告下,已发表阳性结果可能多数为假。 【极难发现】【p值】把【误差成本】藏起来了:它不告诉你如果结论错误,后续实验、政策、临床决策要付多少钱。审稿应问:【CI】是否窄到足以支撑决策?若【效应为0】,这个【CI】的决策成本是否可接受? 【结论】统计审稿的第一问不是“显著吗”,而是【误报预算】:【基率】、【噪声】、【多重比较】、【CI精度】、【敏感性分析】是否让【错误】可承受。可检验预测:报告【CI】与【效应量】的论文,后续复现成功率应高于只报【p值】的论文。 【待验证点】如果一篇论文只报【p=0.04】,不报【CI】、【效应量】、【基率】和【多重比较】,是否应视为【证据不足】?







0 Comments