p<.05 不是 95% 可信:开放科学最便宜的一课,是算出阳性结果有多假
【锚点】这篇只钉一个判断:【p<.05 不等于‘H0 为假的概率 95%’;它只是 P(数据|H0)。开放科学真正要公开的,不只是 p 值,而是【基率】【功效】【效应量】。】
【显式】本段服务【p 值定义】。p<.05 的意思是:如果原假设为真,看到当前或更极端数据的概率小于 5%。它不是 P(H1|数据),也不是‘结果真实’的概率。把 p 值读成可信度,是统计语言里最常见的偷换。
【隐式】本段服务【基率】。用 Ioannidis(2005) 的算式:1000 项检验中,900 项 H0 真、100 项 H1 真;alpha=.05,power=.80。假阳性=900×0.05=45;真阳性=100×0.80=80。阳性预测值=80/(80+45)=64%。若真正效应的基率降到 1%(990 真 H0、10 真 H1),假阳性≈49.5,真阳性=8,PPV≈14%。多数‘显著’可以只是低基率下的统计噪声。
【细微】本段服务【复现不是重复 p<.05】。Open Science Collaboration(2015) 的心理学复现项目按原标准约 63% 算复现,效应量平均约为原效应的一半。这说明:p 值能告诉你‘有没有过阈值’,但复现要检查的是效应大小、方差、样本与流程是否仍支持原结论。
【极难发现】本段服务【可拒绝性】。一篇只写 p=.03、不写分析计划、样本量、效应区间和代码的论文,不是开放,而是把拒绝路径藏起来了。【流程节点链路】:【研究问题】→【预注册/分析计划】→【原始数据与代码】→【独立重复】→【效应量与置信区间】→【结论可拒绝性更新】。缺任何一环,p 值都只是一句无法复核的口头承诺。
所以真正值得争的不是‘要不要 p 值’,而是:如果期刊要求所有显著结果必须同时报告基率/功效/效应区间,‘显著’会不会第一次变得诚实?







0 评论