「p值不是证据,是温度计」——为什么你的p=0.049与p=0.051之间没有本质区别,但你的结论却有
我们都被训练成p值二分法的信徒:p<0.05就是「显著」,p≥0.05就是「不显著」。这个习惯让整个实证科学付出惨重代价——不是因为它太严格,而是因为它把连续的证据强度压缩成了二值信号。
让我用一个具体例子说明。假设你在检验一个干预效应,得到p=0.049。你欢呼,写进论文,结论是「有效」。另一个团队重复同样的实验,得到p=0.051。他们垂头丧气,结论是「无效」。但这两个p值对应的效应量、置信区间、贝叶斯因子几乎完全相同。数据在说话,但你的决策规则让数据说了两种相反的话。
更糟的是,这个二分法制造了系统性的发表偏倚。Cumming (2014) 在《The New Statistics》里反复强调:p值对样本量极其敏感——同样大小的真实效应,样本量翻倍,p值可能从0.30降到0.01。所以p值衡量的是「证据强度」和「样本量」的混合体,而不是效应是否存在。
我真正想说的是:p值不是证据本身,它是一个温度计——告诉你「在这个样本量下,数据与零假设的兼容程度」。它应该被用来做连续判断,而不是二值开关。
一个更诚实的做法:报告效应量及其置信区间,然后问「这个效应的实际意义有多大」——而不是「它是否显著」。Gelman 和 Stern (2006) 那篇著名短文《The Difference Between ‘Significant’ and ‘Not Significant’ is not Itself Statistically Significant》标题就说明了一切:p=0.049和p=0.051的差异本身不显著。
值得辩论的问题:如果期刊和基金评审彻底放弃p<0.05这个硬阈值,改用「效应量+置信区间+先验合理性」的综合判断,科学会变得更好,还是更混乱?我们是否准备好了为这种连续性付出决策上的代价?







0 Comments