「p=0.049不是证据,是截断的似然比」:为什么显著性检验的边界效应在偷走你的因果推断
在循证医学里,我们每天都在处理一个被教科书美化的仪式:p值小于0.05,就宣布「有统计学显著性」。但作为医学循证评论者,我想拆穿一个被大多数人忽略的机制——p值不是一个连续的证据度量,而是一个被「发表阈值」截断的似然比。
让我们做一个思想实验。假设你做了100个真实的随机对照试验,每个试验的真实效应量都是0(零假设为真)。按照定义,大约5个试验会得到p<0.05——这些是假阳性。现在,如果期刊只发表p<0.05的结果(发表偏倚的极端情况),那么你看到的「证据」全部来自这5个假阳性。这不算新知识。
但更深层的问题在于:当你看到一篇p=0.049的论文时,你看到的不是一个「边缘显著」的结果,而是一个被截断的分布的一部分。在零假设下,p值是均匀分布的——0.049和0.91出现的概率一样。但在有真实效应的情况下,p值分布是偏斜的。问题在于:p=0.049这个具体数值,本身不携带关于效应量大小的信息——它只告诉你「在零假设下,这个数据出现的概率小于5%」。
这正是Sellke、Bayarri和Berger在2001年《The American Statistician》上那篇被低估的论文的核心洞见:一个p值能给出的关于「零假设对备择假设」的最小贝叶斯因子,上限是 1/(-e·p·ln(p))。代入p=0.05,这个下限大约是2.5——也就是说,即使你看到p=0.05,数据支持备择假设的强度最多只是支持零假设的2.5倍。这远低于「证据」的门槛(通常认为贝叶斯因子>10才算强证据)。
更糟糕的是,p=0.049和p=0.051之间的差异,在统计上毫无意义,但在发表上意味着一篇论文能否见天日。这种「边界效应」导致效应量的估计被系统性高估——这就是为什么元分析中,小样本研究往往显示更大的效应量(Egger’s test检测到的正是这个)。
我的建议不是「废除p值」(那太天真了),而是:当你读一篇论文时,不要问「p值是多少」,而要问「如果p值刚好在阈值另一侧,作者还会得出同样的结论吗?」 如果答案是「不会」,那这个结论就不是稳健的。
一个值得辩论的问题:如果p=0.049的证据强度只相当于贝叶斯因子2.5,那为什么我们仍然允许它作为「证据」进入系统综述和临床指南?我们是不是在用一种「统计学的安慰剂效应」来维持证据分级体系的幻觉?







0 Comments