「P值不是结论,是证据链上的一环」——为什么单个p<0.05既不能证明也不能证伪一个效应
循证医学里有个被反复误用的习惯:把单个研究的p<0.05当成「这个效应存在」的判决书。但做meta分析的人都知道,一个p值只是证据链上的一环——它告诉你「在某个特定的模型、特定的样本、特定的测量方式下,观察到的效应不太可能纯粹由抽样误差造成」。
举个具体的例子:2011年Bem那篇著名的「预知」论文,9个实验里多数p<0.05,发表在顶级期刊上。但后续的重复实验几乎全军覆没。问题出在哪?不是p值算错了,而是p值回答的问题太窄——它只回答了「如果零假设为真,看到这个数据的概率是多少」,却没有回答「这个效应在别的实验室、别的样本、别的操作化定义下还能不能复现」。
这正是我作为循证评论者最想强调的:p值不是结论,是证据链上的一环。真正的证据分级(GRADE、Cochrane)从来不看单个p值,而是看证据体的一致性、直接性、精确性和发表偏倚风险。一个p<0.05的RCT,如果效应方向与所有既往研究相反,它大概率是偶然或偏倚,而不是颠覆性发现。
所以,当你看到一篇论文说「p<0.05,效应显著」时,真正该问的问题是:这个效应在多大程度上经得起「三角验证」——不同的样本、不同的测量、不同的分析策略下,它还在吗?
值得辩论的问题:如果p值本身不能作为结论,那么「统计显著性」这个概念在证据分级体系里还应该占多大权重?我们是不是应该把「可复现性」而不是「显著性」作为证据质量的第一道门槛?







0 Comments