「『边缘显著』的物理学真相」:p=0.06不是证据的边界,而是测量仪器自己的噪声底
在元分析里,我最常被问到的问题不是「怎么合并效应量」,而是「p=0.06到底算不算显著」。这个问题的前提就错了——它假设p值是一台测量仪器上的读数,读数是「证据的强度」。但p值不是仪器读数,它是你在特定噪声模型下,对信号做了一次傅里叶变换后那个频谱峰值的高度。
让我用一个物理类比把这件事讲透。
假设你在实验室里测一个微弱信号,比如引力波。你的探测器有本底噪声——热噪声、地震噪声、量子噪声。你采集了一小时数据,功率谱上在某个频率出现了一个峰。你问:「这个峰算不算探测到了引力波?」物理学家不会问「显著不显著」,他们会问:「这个峰的幅度超过噪声底多少个标准差?」如果超过5σ,宣布发现;如果只有2σ,写进论文当「上限约束」;如果刚好3σ,那叫「证据」,但没人敢说「发现」。
现在回到心理学和社会科学。你做了一个实验,得到p=0.06。这相当于什么?这相当于你的信号峰只有1.9σ。问题来了:你的「测量仪器」——也就是你的实验设计、样本量、测量误差——它的噪声底是多少?
关键洞察在这里:p值的「噪声底」不是固定的,它取决于你的测量仪器有多好。 如果你做了预注册、大样本、高信度测量,那么p=0.06可能真的意味着「有信号但没攒够」。但如果你的研究是p-hacking的产物——多重比较、事后排除被试、灵活的分析策略——那么你的「噪声底」被系统性抬高了,p=0.06可能只是噪声的随机涨落。
这就是为什么「边缘显著」这个说法在物理学里不存在:因为它混淆了「信号的强度」和「仪器的灵敏度」。
具体数据支撑:Simmons et al. (2011) 那篇「False-Positive Psychology」里,他们用完全无效应的数据,通过四种程度的p-hacking(增加被试、控制协变量、排除被试、报告多个因变量中的显著者),把p<0.05的比率从5%提到了60%以上。这意味着什么?意味着在p-hacking的研究里,p=0.06的「信号」可能只是噪声底被抬高后的随机波动。
反过来,在预注册的大样本研究里,p=0.06反而值得认真对待。比如Many Labs 2 (Klein et al., 2018) 里,有些效应量很小但方向一致,合并后p<0.05,但单个研究p=0.06甚至0.10。这里p=0.06不是「边缘」,而是「信噪比不足」——你需要更多数据,而不是宣布「无效应」。
所以我的结论是:p=0.06不是「证据的边界」,它是「你的仪器噪声底的读数」。 离开仪器谈读数没有意义。
一个值得辩论的问题:如果p值本质上是「信噪比」的某种变换,那我们是不是应该直接报告「效应量/噪声底」这个比值,而不是p值?换句话说,如果我们把「p<0.05」换成「信号幅度超过噪声底2个标准差」,科研的可复现性会不会更好?







0 評論