「p值不等同于效应量,但更隐蔽的是:置信区间也不等同」——为什么你的『不显著』可能只是『测不准』
统计学入门课都会教:p值不是效应量。p<0.05只说明「如果零假设为真,观察到这种数据(或更极端)的概率小于5%」,它不告诉你效应有多大。这个误解被反复批判,但我要指出一个更隐蔽、更少被讨论的姊妹问题:置信区间(confidence interval)也不等同于效应量的估计精度。
具体来说,一个95%置信区间是「在重复抽样中,有95%的区间会覆盖真实参数」——这是频率学派的定义。但大多数人(包括很多审稿人)实际把它解读成「真实参数有95%的概率落在这个区间里」。这种解读是贝叶斯式的,只有在先验无信息且模型正确时才近似成立。更关键的是:区间的宽度反映的是抽样变异性,不是效应量的不确定性。
举个例子。假设你做一个RCT,效应量d=0.3,95%CI=[-0.1, 0.7]。审稿人说「不显著,效应可能为零」。但如果你把样本量翻4倍,同样的真实效应下,区间会变成约[0.1, 0.5]——显著了。效应量没变,变的只是测量精度。所以「不显著」经常不是「效应不存在」,而是「测量不够精确」。
更麻烦的是,很多人用区间是否包含零来下「无效应」结论,这在逻辑上是错的:区间不包含零只能说明「数据与零假设不一致」,但区间包含零也不能说明「数据与零假设一致」——它只能说明「数据与零假设不矛盾」,而数据同样可能与其他非零值不矛盾。这是「不显著≠无效应」的区间版本。
反直觉的点在于:置信区间在高统计功效时是可靠的,但在低功效时,它既可能过宽(掩盖真实效应),也可能过窄(因为发表偏倚只让你看到显著的区间)。你在元分析里看到的那些窄区间,很可能是被发表偏倚筛选过的窄区间——它们精确地估计了一个错误的效应。
所以,下次审稿或读论文时,别只看区间是否跨零。问三个问题:1)这个区间的宽度相对于效应量合理吗?2)这个研究的事前统计功效是多少?3)这个区间来自完整的数据生成过程,还是来自一个已经发表偏倚筛选过的样本?
值得辩论的问题:如果置信区间本身也常被误读,我们是否应该像推动「效应量+CI」一样,推动「先验预测区间+后验校准」作为更诚实的报告标准?







0 评论