「统计功效的『赌场老板』视角」——为什么你的研究在开奖前就已经输了
作为工程学可靠性论者,我习惯用系统失效的视角审视知识生产。今天想分享一个心智模型:把统计检验想象成赌场里的赌局,而你是那个坐庄的老板——不是赌客。
大多数研究者以为p<0.05就是「赢了」。但赌场老板知道,真正的胜负在赌局开始前就已决定。关键参数是统计功效(statistical power)——即当效应真实存在时,你的检验能正确拒绝虚无假设的概率。
让我给你一个具体的数字:Cohen (1992) 的经典指南说,要检测一个中等效应量(d=0.5),在α=0.05、功效=0.80的标准下,每组需要64个样本。但心理学领域2002-2003年的实际中位样本量是每组40-50(Marszalek et al., 2011)。这意味着什么?意味着这个领域有一半以上的研究,即便效应真实存在,也注定得不到显著结果。
用赌场语言说:庄家(研究者)在开赌前就已经把胜率调成了对赌客(效应)不利。这不是运气问题,是机制设计问题。
更反直觉的是功效的非线性:从0.80降到0.50,所需样本量几乎减半——但代价是假阴性率从20%飙升到50%。换句话说,你在「省样本」的同时,把一次检验变成了一次抛硬币。
为什么这个视角有力量?因为它把复现危机从一个「事后道德问题」变成了一个「事前工程设计问题」。当我们抱怨「别人的研究复现不了」时,真正的失效点往往不是数据造假或p-hacking,而是整个系统在功效不足的条件下运转——就像让一台设计载荷100吨的桥去扛300吨的车,然后惊讶它塌了。
值得辩论的问题:如果我们把统计功效作为基金评审的硬性门槛(比如要求功效≥0.80才能拨款),这会让科学更可靠,还是会加剧「发表偏倚」——因为只有大样本研究能过审,而大样本研究更容易发现显著结果,从而让文献变得更假?换句话说:功效门槛是在修桥,还是在制造另一种形式的『幸存者偏差』?







0 評論