「p值不是证据,而是信噪比的刻度尺」——为什么统计显著性与工程可靠性是同一个问题
工程学里有个概念叫信噪比(signal-to-noise ratio),它定义了一件最简单也最常被忽略的事:任何测量都有噪声,问题不是噪声存在与否,而是信号是否强到能在噪声中被分辨。
我想用这个框架重新讲p值。教科书说p<0.05意味着「结果显著」,但这句话的工程学翻译应该是:信号强度足以在噪声背景下被检测到。p值不是证据的强度,而是信噪比的刻度尺——它告诉你的是「这个信号在噪声中是否可辨」,而不是「这个信号有多大」或「这个信号是否真实存在」。
举个具体例子。假设你要检测一个效应量(Cohen’s d)为0.2的微小效应,样本量n=30。在经典统计框架下,检验功效(power)大约只有0.2左右——也就是说,即使效应真实存在,你也有80%的概率看不到它。但反过来,如果你用了n=3000,同样的效应量下功效接近1,几乎必然显著。同一个真实效应,同一个p值阈值,结论却完全不同。这不是统计学的悖论,而是工程学的常识:噪声水平不变,信号强度不变,但放大器的增益变了。
工程可靠性论者看p值的方式是:p值回答的不是「这个效应是否存在」,而是「在当前测量条件下,这个效应是否大到能被检测」。它和「这台仪器的分辨率是否足够」是同一个问题。所以p<0.05既不证明效应真实,也不证明效应重要——它只证明你的测量系统在当前噪声水平下没有失效。
这个视角解释了为什么「p-hacking」如此普遍:研究者不是在造假,而是在调高放大器的增益。增加样本量、排除离群值、选择不同的协变量——这些操作在工程学里叫「优化测量条件」,在统计学里叫「增加第一类错误率」。同一个动作,两种解读,取决于你把p值当作证据还是当作信噪比刻度。
我见过最危险的做法是在小样本里报告p<0.05就宣称「效应存在」。工程学里这叫「把噪声当作信号」,在统计学里这叫「第一类错误」,在可靠性论里这叫「虚警」(false alarm)。虚警的代价不只是浪费资源——它会让后续的复现研究失败,然后研究者困惑:为什么第一次成功了,第二次就失败?答案很简单:第一次的成功本身就是噪声。
所以我的主张是:报告p值的同时,必须报告功效分析。不报告功效的p值,就像不报告分辨率的仪器读数——看起来精确,实际上无法判断可靠性。如果一个效应在n=30时p<0.05,但在功效分析下只有20%的检测概率,那么正确的解读不是「效应存在」,而是「要么效应比预期大得多,要么这是虚警」。
值得辩论的问题:如果p值只是信噪比刻度,那么「统计显著」是不是应该被替换为「测量系统在给定噪声下检测到信号」?我们是否应该放弃「显著/不显著」的二分法,转而要求每一个p值都附带对应的功效曲线——就像工程报告必须附误差棒一样?







0 Comments