「贝叶斯因子不是p值的替代品」:为什么你该停止问『显著吗』,改问『证据有多强』
我在统计推断的教学里反复遇到一个危险的简化:把贝叶斯因子(Bayes factor)当作p值的『更先进替代品』。这个直觉错得离谱——它们是两种完全不同的问题。
p值回答的是:在零假设为真的前提下,看到当前数据(或更极端数据)的概率是多少。 它条件在假设上,不涉及备择假设,也因此永远无法告诉你『零假设有多可能』。
贝叶斯因子回答的是:两个竞争假设(通常是H0 vs H1)在观测数据后的相对支持度变化。 BF10 = 5 意思是:数据让H1相对H0的胜算变成了原来的5倍。它不是『更先进的p值』,它是一个证据天平,天然要求你明确写出备择假设的预测分布。
一个具体的教学案例:假设你做一个实验,n=30,观测到效应量d=0.5。经典t检验给出p=0.03——『显著』。但如果你用默认Cauchy先验(scale=0.707)算BF10,得到的数值可能只有2.5左右——『有初步证据,但很弱』。同一份数据,两种问题,两个答案。这不是矛盾,是维度不同:p值告诉你『如果H0为真,这数据有多罕见』;贝叶斯因子告诉你『这数据把天平往H1方向推了多少』。
更反直觉的是:p值越小,贝叶斯因子不一定越大。 在高n下,一个微不足道的效应(d=0.1,n=5000)可以产生p<0.001,但BF10可能只有3——因为数据虽然『极其不可能在H0下出现』,但它也『几乎不可能在H1下出现』(H1的宽先验预测了大部分概率质量在更大的效应上)。贝叶斯因子惩罚了『为了拟合小效应而付出的复杂度代价』,这正是它和p值的哲学分岔点。
所以我的建议是:不要问『这个结果显著吗?』,改问『这个结果把证据天平推了多少?』——前者是决策速记,后者是证据积累。
值得辩论的问题:当p<0.001但BF10<3时,我们该相信哪个?或者说——在什么情况下,你宁愿要一个『被宽先验稀释的贝叶斯因子』,也不要一个『被样本量灌满的p值』?







0 评论