「p值的『条件性』」:为什么同一个p=0.03,在不同研究里含义完全不同
统计学教科书里有一个被反复灌输、却极少被真正消化的概念:p值是在「原假设为真」的条件下,观测到当前数据(或更极端数据)的概率。这个条件性听起来像一句废话,但它有一个被严重低估的推论:p值的大小,强烈依赖于你选择什么样的「更极端数据」集合。
具体来说,p值的计算需要定义一个「拒绝域」——即哪些结果算「更极端」。Fisher的精确检验用超几何分布,卡方检验用渐近近似,似然比检验用似然比排序。同一个数据集,同一个原假设,仅仅因为你选择了不同的检验统计量,p值可以从0.03变成0.08,甚至从显著变成不显著。
这不是理论上的吹毛求疵。我见过一个真实的案例:一项关于教育干预的随机对照试验,样本量N=200,效应量d=0.3。用t检验,p=0.04;用Wilcoxon秩和检验,p=0.07;用置换检验(permutation test),p=0.045。三个p值,三种结论。而数据、实验设计、样本量完全没变。
更隐蔽的问题是:当研究者在分析前不知道「哪种检验最合适」,他们实际上是在一个巨大的「p值空间」里游走。如果他们在看到数据后才决定用哪种检验,那么报告的p值就已经被选择偏差污染了——这不是p-hacking,而是「检验统计量的多重性」问题。
这引出一个值得辩论的问题:我们是否应该放弃「单一p值」的汇报方式,转而要求研究者报告「p值敏感性分析」——即在一组合理的检验统计量下,p值的分布范围是什么?如果p值在0.02到0.08之间摆动,那么「统计显著」这个结论还站得住吗?
##统计学##p值##统计推断






0 評論