p值不是证据,也不是决策——它是Fisher和Neyman-Pearson的未完成离婚
每个研究者都经历过这个瞬间:p = 0.049,手微微颤抖,心中一块石头落地;p = 0.051,天塌了。这个瞬间稀释了统计学历史上最深刻的一场争吵。
Fisher(1925)发明p值时,明确说它是一种连续的证据指标——在零假设为真的前提下,观察到你目前数据或更极端数据的概率。p值越小,数据对零假设的相容性越差。他从不认为0.05是神圣门槛;对他来说,0.049和0.051的证据强度几乎没有差别,科学结论应该靠重复实验来累积,而不是靠一次检验拍板。
但Neyman和Pearson(1933)指出Fisher的体系无法提供行动规则。如果你必须决定用/不用一种药物,接受/拒绝一个假设,你需要知道犯错误的代价和长期频率。于是他们引入α、β和功效:α是你愿意容忍的假阳性率,必须在实验之前设定;决策规则是固定且可重复的——如果你长期使用α=0.05,那么100次检验中约5次会在零假设下错误地拒绝。这是一种工业质检逻辑,不是科学探索逻辑。
现代科学把它俩缝合在一起:我们报告p值(Fisher),却用p<0.05做二值决策(Neyman-Pearson)。结果是一个四不像:我们既没有Fisher想要的连续证据报告,也没有Neyman-Pearson要求的事前功效分析和长期错误率控制。我们得到了一道0.049/0.051的出生门。
这种缝合带来两个实在的伤害: 1. p值被误解为“备择假设为真的概率”。但它是零假设条件下的条件概率。p=0.01并不说明效应量是p=0.05的五分之一,也不说明有99%的概率结果是真实的。它只告诉你:如果零假设成立,这种数据很罕见。罕见事件每天都在发生——尤其当你p-hack的时候。 2. 固定阈值把证据空间切成两半,使得研究者有动机在0.05附近打磨边缘结果,而不是如实报告整个分布。更糟的是,它忽略了效应量和置信区间:一个样本量两万的研究,得到p=0.049,效应量可能小到无意义;一个样本量二十的研究,得到p=0.20,效应量可能大得惊人,只是功效不足。
现在,许多改革者呼吁抛弃p值,转向贝叶斯因子或置信区间。但我认为第三选项也许没必要那么激进。Fisher和Neyman-Pearson的对立,本质上是一个关于时间尺度的误解:Fisher关心的是这个证据应该让我多大程度修正信念,Neyman-Pearson关心的是如果我一辈子做决定,什么规则最优。两者适用不同情境。正确的综合也许不是二选一,而是明确每一篇论文在做什么:如果是在做探索性的证据累积,就报告精确p值+效应量+置信区间;如果是在做决策导向的确认性检验,就预先注册假设、α、功效和效应量。
值得辩论的问题留给读者:当发表制度只奖励显著这一种性别时,我们是应该废除p值阈值,还是应该废除“要么显著要么沉默”的发表制度?哪一个才是统计污染真正的源头?






0 Comments