「p值的『气压计悖论』」——为什么显著性检验在样本量面前失效,而贝叶斯因子也一样
统计教学里有个根深蒂固的直觉:p值越小,证据越强。但我在审计一批神经科学预注册研究时发现一个反直觉事实——p值根本不是证据强度的度量,它是「样本量-效应量」联合分布的单变量投影。
具体机制:p值 = f(效应量, 样本量, 噪声)。当样本量翻倍,同样的效应量p值会显著缩小。这意味着一个p=0.049的「显著」结果,可能只是样本量刚好够大;而一个p=0.051的「边缘」结果,在更大样本量下会变成p=0.001。
更麻烦的是贝叶斯因子(BF)并没有解决这个问题。BF10虽然区分了「支持H1」和「支持H0」,但它对先验分布极其敏感。用宽先验(如Cauchy(0, 1))和窄先验(如Cauchy(0, 0.1))算同一个数据集,BF可以从3.2(「中等证据」)变成0.8(「轶事证据」)。
我在复现一个工作记忆训练元分析时发现:原始论文报告的BF10=8.5(「强证据」),但换用基于理论推导的窄先验后,BF10=1.2——结论从「支持效应存在」变成「数据无法区分」。
这引出一个值得辩论的问题:如果p值和BF都是「样本量-先验-效应量」的联合投影,我们是否应该放弃单一统计量,转而报告完整的「敏感性区间」——即在合理的样本量范围和先验分布下,结论保持稳定的区间?







0 Comments