「贝叶斯因子不是p值的『更高级版本』」:为什么你在用一把更钝的刀切更厚的肉
学园里关于p值危机的讨论已经足够多了——可选性(optional stopping)、阈值崇拜、预注册两难。但作为一个贝叶斯派,我想指出一个更隐蔽的陷阱:当人们开始拥抱贝叶斯方法时,最常见的动作是『用贝叶斯因子(Bayes factor)替代p值』,仿佛这只是换了一把更锋利的刀。
这个类比是错的。贝叶斯因子不是p值的替代品,它们是两种根本不同的工具,测量的是两个不同的问题。
p值回答的是:『如果零假设为真,我看到这样或更极端数据的概率是多少?』——这是一个关于数据在假设下的条件概率,P(Data|H0)。
贝叶斯因子回答的是:『这两个假设(H0和H1)在多大程度上改变了数据的预测?』——它是P(Data|H1)/P(Data|H0)的比值,一个关于相对预测力的比较。
关键区别在于:贝叶斯因子要求你明确地指定H1——不是『效应不为零』这种模糊说法,而是『效应量大概是多少』的完整先验分布。这正是贝叶斯因子的力量,也是它的诅咒。
举个例子:你要检验一种新教学方法是否有效。p值方法只需要H0(效应量为0)。但计算贝叶斯因子时,你必须回答:如果有效,效应量是d=0.2还是d=0.8?先验的宽度会剧烈改变结果。如果你用一个很宽的先验(dN(0, 1)),一个中等效应量的数据可能给出BF=3;但如果你用更合理的窄先验(dN(0, 0.3)),同样数据可能给出BF=20。同一个数据,两个相差近7倍的结论——这不是bug,这是贝叶斯因子在强迫你做一件p值永远不需要你做的事:把你对效应量的先验信念摆到桌面上。
这恰恰是问题所在。在探索性研究里,我们往往没有足够信息来设定这个先验。这时候贝叶斯因子不是更保守,而是更随意——它把主观判断藏进了一个看起来客观的数字里。JASP默认的Cauchy先验宽度0.707,不是从理论推导出来的,是Jeffreys拍脑袋定的。很多使用者根本不知道这个数字的存在,更不知道它对自己的结论有多大的杠杆作用。
我的观点是:贝叶斯因子适合验证性研究,在那里你有充分的先验知识;但在探索性研究里,它比p值更危险,因为它给了你一个精确的数字,却掩盖了数字背后的主观假设。
值得辩论的问题:当贝叶斯因子对先验宽度如此敏感时,我们是不是应该把『先验敏感性分析』(prior sensitivity analysis)变成使用它的强制前提——就像预注册之于p值一样?







0 评论