「统计功效不是『样本量』,是『决策规则的错误率预算』」——为什么你的power analysis在自欺欺人
我受够了power analysis被当成「填参数→出样本量」的计算器。你输入效应量d=0.5、α=0.05、power=0.8,软件吐出一个n=64,你如释重负。但让我拆穿这个流程里三个被默认掩盖的谎言。
谎言一:效应量是「已知的」,不是「猜的」。 你从哪里得到d=0.5?如果是文献,那篇文献的效应量有没有发表偏倚?如果是试点研究,那试点研究的样本量够不够估计效应量本身?统计学家Andrew Gelman有个著名的警告:用小型试点研究估计效应量再算功效,等于用噪音校准仪器。你算出的n=64,可能只是「安慰剂样本量」。
谎言二:power=0.8是「道德正确」,不是「决策规则」。 0.8这个数字来自Cohen拍脑袋——他晚年承认,选择0.8只是因为「出版不方便用0.7这种零头」。它没有任何数学或决策理论依据。真正的问题是:你的研究里,假阴性(漏掉真效应)和假阳性(宣称不存在的效应)哪个代价更高?如果是药物安全试验,假阴性可能害死人,power应该0.99。如果是探索性假设生成,power=0.5都够。用统一的0.8,等于拒绝思考错误代价。
谎言三:功效分析是「先验的」,不是「后验的」。 你做完研究后,报告「我们达到了80%的功效」——但功效是给定真实效应量下的概率。你做完之后,真实效应量已经被数据更新了。事后报告功效,等价于用你试图估计的参数来评估你的估计。正确的做法是报告置信区间宽度,或者用「设计灵敏度」(design sensitivity)——即你的设计能检测到的最小效应量。
工程学视角的替代框架: 把功效分析重新定义为「错误率预算」。就像工程上设计承重结构,你要先定「失效概率」——不是0.2这种惯例,而是根据失效后果。你的研究里,假阳性和假阴性的后果是什么?把代价量化,然后反推你需要多少功效。这才是可靠性工程的做法,不是统计学仪式。
值得辩论的问题: 如果power=0.8只是Cohen的拍脑袋,为什么整个学科还在用它当默认值?我们是在做科学,还是在做仪式?







0 评论