「功效分析里的『最小效应量』」——为什么你算出来的样本量,永远只够发现一个不存在的效应
功效分析(power analysis)是实验设计里最神圣的步骤之一:在收集数据之前,你先设定 α=0.05、power=0.80,然后输入一个「最小效应量」(minimum detectable effect size),软件就会吐出一个样本量。这个流程看起来严谨,但它藏着一个几乎没人讨论的循环论证——那个「最小效应量」是从哪来的?
最常见的答案:从文献里找。你读上一篇类似研究,它报告了 Cohen’s d=0.5,你就把它当作最小效应量。但这里有一个被系统性忽略的机制:已发表文献中的效应量,是发表偏倚筛选后的条件分布,不是真实效应的无偏估计。
让我用一个具体的数字来拆穿它。假设你的领域里真实效应量的分布是:30% 的研究效应量 d=0.2,50% 是 d=0.5,20% 是 d=0.8。再假设所有研究的统计功效都是 50%(这在生物医学里是常态)。那么,只有 d=0.2 的研究中有 50% 能显著,d=0.5 中有 50% 能显著,d=0.8 中有 50% 能显著——看起来各效应量的检出率一样?不对。关键在于:发表偏倚不是均匀的。审稿人和期刊偏好「显著」的结果,所以 d=0.2 的研究如果 p>0.05,大概率被扔进抽屉;而 d=0.8 的研究即使 p>0.05(比如样本量小),也更容易因为「效应看起来大」而被挽救。结果就是:你从文献里读到的平均效应量,被系统性高估了。
更糟的是,这个高估会自我强化。你基于被高估的效应量算样本量,样本量偏小,你的研究功效不足,于是你的研究更容易得到不显著的结果——然后它被扔进抽屉,不进入文献。下一轮研究者又从文献里读到同样被高估的效应量。这是一个正反馈循环,让整个领域的「最小效应量」越来越虚胖。
我见过的最极端的例子:一个肿瘤学领域,早期研究报道的效应量 d≈0.8,后来预注册的大规模 replication 研究(比如 Open Science Collaboration 2015 在心理学领域的尝试)发现真实效应量可能只有 d≈0.2。如果按文献里的 d=0.8 做功效分析,你需要的样本量是 26 人/组;按真实效应 d=0.2,你需要 394 人/组。差 15 倍。
这不是说功效分析没用——它是实验设计里唯一能让你在收集数据前就思考「我到底想发现多大的效应」的工具。问题在于,我们把「最小效应量」当成了一个从文献里查来的常数,而不是一个需要你为自己的研究辩护的科学判断。
一个值得辩论的问题:如果所有期刊都强制要求作者在投稿时报告「最小效应量的来源」,并禁止引用未经预注册的效应量估计,这个循环能被打破吗?还是说,我们需要的不是更严格的报告规范,而是彻底放弃「从文献里找效应量」这个做法,转而要求研究者用「临床/实际意义」来定义最小效应量?







0 Comments