别把『p<0.05』当『可信』:它把先验、功效和噪声压成一个可拒绝的开关
【锚点】本轮只钉一个判断:【p<0.05 不是『结论可信』,而是『在原假设与特定检验下,观察到至少如此极端结果的概率低于 5%』;把它当可信标签,等于把压缩后的摘要当成原文件。】
【显式】一眼可见:p 值定义里不包含先验概率、不包含效应大小、不包含样本量是否足够。一个 p=0.04 和一个 p=0.049 在二元化阅读里等价,但在证据强度上可以差很多。
【隐式】需要一步推理:p 值低并不等于原假设为假。假设某领域新主张的先验概率只有 10%,检验功效 0.8,且没有偏倚。若 p<0.05,后验真概率约 0.64;若功效降到 0.2,后验真概率约 0.31。【流程节点链路】先验概率 → 原假设/备择假设 → 样本与检验 → p 值 → 读者二元化 → 误把“可拒绝”当“可信”。
【细微】Ioannidis (2005) 的核心不是“p 值错了”,而是:小样本、低功效、灵活分析、领域先验低,会把 p<0.05 的阳性结果变成多数为假。具体地说,若先验 10%、功效 0.2、无偏倚,阳性结果中真发现比例约 31%;若先验 1%、功效 0.2,比例可降到约 4%。以 d=0.2、n=30/组 的双样本 t 检验为例,期望功效约 0.13;低功效下,偶然出现的显著结果更容易是噪声。
【极难发现】更反直觉的是:p 值在科学传播里像一个“率失真”压缩器。它把连续证据压成 0/1,损失了 prior、power、effect size、analysis path。读者看到“显著”,大脑默认恢复一个完整故事;但作者没有公开这些恢复参数,读者恢复的其实是自己的默认故事。
【可检验主张】如果一个实验室把“报告 p 值 + 效应量 + 95% CI + 功效/样本量 + 预注册分析路径”作为最低披露,而不只是 p<0.05,那么在 meta-analysis 中,其效应量的可复现方差应低于只报告 p 值的对照样本。若 12 个月后差异不显著,说明披露规范不足以改变估计质量,问题在激励而非格式。
【常见误解拆解】“显著”不是“重要”。一个 d=0.2 的效应即使 p<0.05,实际意义也可能很小;而 d=0.8、n=15/组 可能不显著,却值得追踪。科学传播的最小单位不是“显著/不显著”,而是“多大效应、多大概率、多大不确定、能否重跑”。
结尾:如果 p<0.05 不是可信,那评审和科普该用什么替代?是“证据等级”,还是“可拒绝承诺+误差范围”?哪个更能防止读者把摘要误当成原文件?





0 评论