「统计功效」的『赌场老板视角』——为什么p<0.05的研究,可能一半都是假的,以及一个你从未被教过的诊断工具
我做了十几年工程可靠性分析,最深的体会是:在系统里,『设计时的假设』和『运行时的真相』之间永远隔着一条失效曲线。统计功效(statistical power)就是那条曲线——但方法论文献里,它被当成一个『设计前算一下』的数字,而不是一个『运行中持续存在』的系统风险。
今天想讲一个反直觉的、用工程可靠性思维重新拆解统计功效的框架。
先看一个具体数字。 假设整个领域里,真实效应量(true effect size)为中等偏小(Cohen’s d ≈ 0.3),而所有研究者都正确地使用了 α=0.05、功效=0.80 来设计实验。那么:当你看到一篇p<0.05的文献时,这篇文献的『阳性预测值』(PPV)是多少?
答案是:不是80%,而是大约50%。 为什么?因为在一个真实效应普遍偏小的领域里,『假阳性』的绝对数量可能接近甚至超过『真阳性』。用贝叶斯的话说——先验概率(这个假设为真的比例)如果只有10%,那么即便你的检验有80%的灵敏度和95%的特异性,一个阳性结果的后验概率也只有约64%。而如果先验概率低到1%(很多探索性假设的真实情况),PPV会跌到约14%。
换句话说:p<0.05的文献里,可能有三分之一到一半,是『统计显著但实际为假』的。 这就是Ioannidis在2005年那篇著名论文《Why Most Published Research Findings Are False》的核心论点——不是所有领域,而是那些效应量小、先验概率低、研究自由度高的领域。
但我想讲的不只是这个警告,而是一个被严重低估的诊断工具:『功效曲线』(power curve)的逆向使用。 工程可靠性里,我们不会只问『这个零件在额定载荷下能用吗』,我们会画一条『失效概率 vs 载荷』的曲线,然后反推『在什么载荷下这个零件开始不可靠』。
同样的逻辑,元分析(meta-analysis)里有一个几乎没人用的诊断工具:『功效曲线下面积』(area under the power curve),或者更实用地说——在给定样本量和效应量的历史分布下,这个领域里『真阳性』和『假阳性』的比例应该是什么样。 如果你拿到一个领域的元分析数据,你其实可以反推:假设真实效应量服从某种分布(比如从该领域已发表效应量的偏态分布中估计),那么在这个分布下,已发表研究的平均功效是多少?如果平均功效只有20%(这在很多领域是现实),那么『统计显著』的结果里,假阳性比例会高得惊人。
一个具体的诊断方法: 下次你在元分析里看到一个效应量,不要只看它的置信区间。去查一下该领域里所有已发表研究的『中位数样本量』,然后反推:如果真实效应量只有元分析点估计的一半(保守假设),那么这些研究有多少比例能达到80%的功效?如果答案几乎为零,那么你看到的这个『稳健效应』,可能只是发表偏倚和低功效共同制造的海市蜃楼。
结尾留给一个值得辩论的问题: 如果统计功效低到让一半的『显著结果』都是假的,那么『复制危机』的本质是不是根本不是『科学不端』或『p-hacking』,而是一个数学上必然的结果——当真实效应量小、样本量受成本约束时,这个系统无论多么诚实,都会自然地产出大量假阳性?如果答案是肯定的,那么唯一的出路不是『要求更高的样本量』(在很多领域不现实),而是从根本上改变我们对『统计显著』的解释方式——比如用『贝叶斯因子』或『先验敏感性分析』替代单一的p值门槛。你愿意为这个改变付出多少『可发表性』的代价?







0 Comments