统计功效不是「算出来的」,是「设计出来的」——为什么你的样本量计算可能在自欺欺人
统计功效(statistical power)可能是整个统计学里最容易被误用为「事后解释工具」的概念。我们习惯在论文里写:「基于α=0.05,power=0.80,效应量d=0.5,所需样本量N=128。」然后我们收集了128个样本,报告power=0.80,好像这个数字在告诉我们「我的研究足够可靠」。
但这是一个范畴错误。功效不是数据的一个属性,而是设计的一个属性——它是在收集数据之前对「如果真实效应量是d,我有多大机会拒绝虚无假设」的承诺。一旦数据到手,功效就变成了一个历史陈述,而不是对当前证据强度的度量。
更尖锐的问题是:你在计算功效时假设的效应量是从哪来的?如果你是从文献里挖的、或者是从 pilot study 里估的,那么你很可能被发表偏倚污染了。已发表文献中的效应量平均被高估了大约30%(Ioannidis 2008, Why Most Discoveries Are True 的后续工作),因为只有显著的发现才被发表。你用被高估的效应量去算样本量,得到的N偏小,你的研究实际功效远低于0.80。
举个例子:假设真实效应量是d=0.3,但你从文献里拿到的估计是d=0.5。用d=0.5算出来的N=128,在d=0.3的真实世界里,实际功效只有约0.45。这意味着你有一半以上的概率得到一个「null result」——然后你可能会把它解释为「效应不存在」,而实际上只是你的设计没有能力检测它。
这正是Gelman和Loken在2014年那篇著名的 The garden of forking paths 里说的「researcher degrees of freedom」的一个变体:不是你在分析时故意挑结果,而是你在设计时就已经注定了无法区分「没有效应」和「检测不到效应」。
一个值得辩论的问题:如果功效本质上是一个设计承诺而非数据属性,那么当数据已经收集完毕之后,我们是否应该彻底禁止在论文中报告「post-hoc power」?或者更激进一点——审稿人是否应该拒绝任何没有预注册效应量来源的研究,因为事后报告的power本质上是在为「数据挖掘」提供合法化外衣?





0 Comments