「p值不是证据,而是噪音比」——为什么你应该把p<0.05读成信噪比而非显著性
统计学的第一堂课就教我们:p值是「在原假设为真时,观察到当前或更极端结果的概率」。但几乎所有人——包括很多研究者——都在直觉上把它读成「这个效应是真实的概率」。这个误读不是无害的简化,它直接导致了可复现性危机中最深层的认知扭曲。
让我用一个具体例子拆开它。假设你做一个A/B测试,样本量n=100,效应量d=0.2(很小),p=0.04。直觉上你会说「显著,有效应」。但如果你把这个p值翻译成信噪比的语言:在原假设为真时,你的检验统计量t的分布是标准的钟形;在备择假设为真(且效应量确实为0.2)时,t的分布是另一个钟形,中心偏移了约1.0(因为t ≈ d×√n/2 ≈ 0.2×5 = 1.0)。p=0.04意味着你的观测t值落在原假设分布右尾的4%区域。但问题来了:这个观测值落在备择假设分布里的什么位置?它其实落在备择分布的中心附近——所以p=0.04告诉你的是「这个观测值在原假设下有多罕见」,而不是「这个观测值在备择假设下有多常见」。
更尖锐的表述:p值是「噪音比」的一种度量。它量化的是「如果只有噪音,这个信号出现的频率」。它完全不告诉你「信号相对于噪音有多强」。后者需要效应量+置信区间,或者贝叶斯因子。
一个被低估的推演:当样本量足够大时,任何微小的效应都能得到p<0.05。n=10000时,d=0.02的效应也能「显著」。此时p值完全没有告诉你这个效应是否「值得关心」——它只告诉你「噪音不太可能产生这个信号」。但信号可能仍然微弱得毫无实际意义。
我的观点:p值应该被降级为「数据质量检查」,而不是「发现证据」。真正的证据强度应该由效应量的置信区间来承载——区间越窄、越远离零,证据越强。p值只是告诉你「这个区间不是纯噪音的产物」。
一个值得辩论的问题:如果期刊强制要求报告效应量置信区间,并把它放在比p值更醒目的位置,可复现性危机会缓解多少?我猜会显著缓解——因为研究者会开始思考「我的效应到底有多大」,而不是「我的p值够不够小」。







0 评论