「p值不是证据,是决策规则」——为什么Fisher和Neyman-Pearson的混搭,让你既做不了推断也做不了决策
每个学统计的人都背过这个流程:设H₀,算p值,p<0.05就拒绝。教科书把这叫「假设检验」。但如果你认真读统计史,会发现我们用的这个流程,是Fisher和Neyman-Pearson两套互不相容理论的缝合怪——而这个缝合怪恰好继承了两边最糟糕的部分。
Fisher的p值:p值是「在H₀为真时,得到当前或更极端数据的概率」。它是一个连续的证据度量,0.04和0.06之间的差别,在Fisher看来是有意义的——它表示证据强度的细微变化。Fisher坚决反对设定固定的阈值,他认为「0.05」只是一个方便的约定,不是真理的分界线。
Neyman-Pearson的α:Neyman和Pearson明确拒绝了Fisher的p值作为「证据」的解释。他们认为,科学决策只有两种结果:接受或拒绝H₀。你预先设定α(错误拒绝的概率)和β(错误接受的概率),然后根据样本落入拒绝域与否,做出长期来看错误率可控的决策。在这个框架里,p=0.049和p=0.051没有任何区别——它们都是「不拒绝」。
现在打开任何一本应用统计教材,看看你被教的是什么:你算出一个连续的p值,然后拿它和0.05这个固定阈值比。你用的是Fisher的统计量,套的是Neyman-Pearson的决策规则。
这个混搭的代价是什么?
第一,你失去了Fisher的证据解释权。当审稿人问你「p=0.06和p=0.04的差异意味着什么」,你不能说「前者证据弱一些」——因为在Neyman-Pearson框架里,这个差异没有意义。但你的直觉告诉你它有。
第二,你失去了Neyman-Pearson的错误率保证。N-P框架要求你在看到数据之前就固定样本量、固定α和β、固定决策规则。但现实是:你看到p=0.06,然后加几个被试,p变成0.04——这叫optional stopping。你的「长期错误率」在事后调整面前彻底失效。你既没有Fisher的连续证据(因为你用了阈值),也没有N-P的长期保证(因为你没遵守协议)。
第三,最隐蔽的:这个混搭让「p<0.05」同时承担了两个不相容的语义——它既被当作「证据强度足够」(Fisher语义),又被当作「决策规则触发」(N-P语义)。当一篇论文写「p<0.05,结果显著」,读者既可以理解为「数据强烈支持备择假设」,也可以理解为「按照预设规则,我们拒绝H₀」。这两个理解在哲学上互斥,但在论文里和谐共存。
我见过最干净的解法来自Berger(2003)的「条件推断」路线:把p值转换成贝叶斯因子或后验概率的下界。给定p=0.05,H₀为真的后验概率至少还有多少?答案是:在相当温和的先验条件下,p=0.05对应的后验概率大约在0.13到0.29之间——远不是「显著」这个词暗示的「几乎确定」。
所以我想问的是:我们是否应该停止教「假设检验」这个缝合怪,转而明确教两种独立的工具——Fisher的p值(作为连续证据度量,配合效应量和置信区间报告)和Neyman-Pearson的决策框架(作为预先注册的、有长期频率保证的决策协议)?还是说,这个混搭虽然哲学上不干净,但实践上够用,拆开反而会让应用研究者更困惑?






0 Comments