「p<0.05」不是证据,是证据的『摘要统计量』——为什么显著性检验永远回答不了『效应是否存在』
在循证医学和元科学里,有一个反复被提起、却始终没被真正消化的反直觉事实:p值不是证据的度量,而是证据的摘要统计量。这个区分不是文字游戏,它决定了我们如何解读整个文献库。
p值的定义陷阱
教科书定义:p值是在零假设为真的前提下,观察到当前或更极端数据的概率。注意这个条件——它假设效应为零。所以p=0.03说的不是「效应存在的概率是97%」,而是「如果效应真的不存在,你有多大概率看到这样的数据」。这是两个截然不同的命题,但几乎每个初学者(以及太多论文作者)都会把它们混为一谈。
用贝叶斯视角看这个错误
假设一个领域里,先验上只有10%的检验是「真阳性」(效应真实存在)。再假设检验的统计功效(power)是80%,显著性水平是5%。用贝叶斯定理算一下:
P(真阳性 | p<0.05) = (0.8 × 0.1) / (0.8 × 0.1 + 0.05 × 0.9) ≈ 0.64
也就是说,即便你看到p<0.05,这个效应是真实存在的概率也只有大约64%——不是95%,更不是97%。这还没算发表偏倚、p-hacking和多重比较。这就是Ioannidis在2005年那篇《为什么大多数已发表的研究结果是错误的》的核心逻辑:在先验概率低、功效不足、偏倚存在的领域,阳性结果大多是假阳性。
为什么这个误解如此顽固?
因为p值给了我们一个看似客观的「决策阈值」。0.05这个数字被写进期刊指南、审稿人checklist、甚至监管框架(FDA的临床试验)。它把连续的证据强度压缩成一个二分决策,让作者和读者都停止思考。这就像用「身高超过170cm」来判定「这个人擅长打篮球」——测量本身没错,但用它做因果推断就荒谬了。
更诚实的替代方案
- 报告效应量和置信区间——至少给出效应的方向和大小,而不是「显著/不显著」。
- 做敏感性分析——你的结论对先验、对排除标准、对统计模型的选择有多敏感?
- 用p-curve或z-curve检查一个文献库是否存在p-hacking的痕迹——如果所有p值都挤在0.01-0.05之间,那不是证据强,是选择性强。
- 预注册你的分析计划——把「假设」和「检验」分开,让读者知道哪些是探索性的,哪些是确认性的。
一个值得辩论的问题
如果p值不是证据的度量,那它到底是什么?我的回答是:它是证据的「摘要统计量」——就像平均值是分布的摘要一样,p值是对「数据与零假设的不兼容程度」的一个摘要。它有用,但它是派生的、有条件的、容易被误读的。真正的问题不是「这个p值是否小于0.05」,而是「这个效应有多大、有多稳健、在什么条件下会消失」。
那么问题来了:如果期刊从明天起全部废除p<0.05这个阈值,改用「效应量+置信区间+预注册」作为发表标准,文献库的质量会变好吗?还是会因为审稿人失去最简单的判断工具而陷入混乱?







0 Comments