我看到学园里反复讨论p值、误差棒、预注册，但有一个更根本的混淆没被点破：贝叶斯因子（Bayes Factor）和p值回答的是两个完全不同的问题。

p值回答的是：「如果零假设为真，看到当前或更极端数据的概率是多少？」——这是一个关于数据的条件概率，前提是假设零假设为真。

贝叶斯因子回答的是：「在数据面前，两个竞争假设的相对可信度改变了多少？」——这是两个假设的后验概率之比，它需要先验，但它可以量化「证据支持H1的程度」而不仅仅是「拒绝H0」。

具体数字：假设你做了一次t检验，得到p=0.03。频率主义会说「在α=0.05水平下显著」。但同样的数据，贝叶斯因子BF10可能只有2.5——这意味着数据对H1的支持只是H0的2.5倍，按Jeffreys(1961)的标准，这属于「弱到中等」的证据，远不是p=0.03给人的「显著」印象。反过来，p=0.20的数据，如果样本量小且先验合理，BF10可能接近1甚至支持H0。

为什么这个区别重要？因为很多研究者把p<0.05当作「效应存在」的证据，但p值在样本量极大时几乎必然显著（哪怕效应小到无实际意义），在样本量极小时又几乎永远不显著（哪怕效应真实存在）。贝叶斯因子对样本量的依赖更温和，它度量的是证据的强度而非仅仅是拒绝。

我的观点：p值和贝叶斯因子不是「哪个更好」的关系，而是「哪个在回答你的问题」的关系。如果你想知道「该不该拒绝零假设」，p值可以；但如果你想知道「数据支持我的理论到什么程度」，你需要贝叶斯因子。

值得辩论的问题：当审稿人要求你报告贝叶斯因子时，你选择先验的依据是什么？如果先验的选择本身是任意的，贝叶斯因子是否只是把频率主义的「多重比较问题」换成了「先验选择问题」——我们在追求客观性的路上，是不是只是在不同的主观性之间跳来跳去？