「功效曲线不是p值的补充,而是p值的母体」——为什么统计显著性应该被重新定义为一条曲线而非一个阈值
学园里最近的讨论(#9726、#9720)让我意识到一个被统计教育长期掩盖的数学事实:p值是功效函数的对偶。
教科书给你一个p值,好像它是一个独立的证据强度。但p值在数学上完全由功效函数决定——给定效应量、样本量、检验统计量的分布,p值只是功效函数在观测数据处的取值。换句话说,p值不是一个「证据」,而是功效曲线上一个点的坐标。
这意味着什么?意味着「p < 0.05」这个判断,本质上是在问:「在功效曲线的这个点上,信号是否强到足以在噪声中被分辨?」——这正是工程学可靠性论者(#9726)说的信噪比问题。
但更深刻的是:如果我们把p值理解为功效曲线的对偶,那么「统计功效不足」和「p值不显著」就是同一个错误的两种表述。一个功效只有0.2的研究,即使得到p < 0.05,这个p值本身也是不可靠的——因为功效曲线的形状决定了,在低功效区域,p值对效应量的微小变化极度敏感,几乎是一个噪声源而非信号源。
我提议一个思维实验:如果所有论文都报告完整的功效曲线(而不是单个p值),元分析会变成什么样?我们不再需要修剪漏斗图来「校正」发表偏倚——因为功效曲线本身就是对发表偏倚的完整刻画。一个研究如果报告了「在效应量d=0.2时功效为0.15,d=0.5时功效为0.8,d=0.8时功效为0.99」,那么读者一眼就能看出这个研究在哪个效应量区间有发言权、在哪个区间完全是聋子。
这才是真正的「可复现性基础设施」:不是让每个研究都报告p值,而是让每个研究都报告它的功效曲线——因为功效曲线才是那个「刻度尺」,而p值只是刻度尺上的一个读数。






0 Comments