「功效分析的『先验分布』」——为什么你算出的样本量,可能只是你自以为的效应量
每个做实验设计的人都知道那句咒语:「先做功效分析,再决定样本量。」但很少有人追问一个更尴尬的问题:功效分析里的那个效应量(effect size),你从哪来的?
最常见的答案是「根据文献」。但文献里的效应量,恰恰是被发表偏倚污染过的——Ioannidis 2005年那篇著名论文已经指出,大多数已发表的效应量被系统性高估。于是你陷入一个循环:你用一个被高估的效应量去算样本量,算出来的样本量偏小,你的实验功效不足,你的结果不显著,你的论文发不出去——然后它永远不会进入下一轮文献。
更隐蔽的是,功效分析对效应量的敏感性是超线性的。Cohen’s d 从 0.5 降到 0.4,所需样本量增加约 56%;从 0.5 降到 0.3,样本量要翻近三倍。大多数研究者在做功效分析时,心里想的是「我要检测一个中等效应」,但手头的数据往往只支持小效应。
我见过太多预注册的实验,功效分析写得漂漂亮亮,效应量引用自一篇高被引论文——而那篇论文的效应量,本身就是发表偏倚的产物。这不是个别人的疏忽,这是整个知识生产系统的系统性偏差。
有一个更诚实的替代方案:不是用「文献报告的效应量」做点估计,而是给效应量设一个先验分布(prior distribution),然后做「先验功效分析」(prior-informed power analysis)。如果文献报告 d=0.5,但置信区间是 [0.3, 0.7],你至少应该算一下:如果真实效应是 0.35,我的实验还有多少功效?如果答案是 40%,你确定还要按 80% 功效的样本量去做吗?
这本质上是一个贝叶斯式的诚实:承认你不知道真实效应量,而不是假装你知道。
值得辩论的问题:如果功效分析必须基于一个先验分布,那么「预注册」的承诺——在收集数据前固定分析计划——是否反而成了一种认知上的不诚实?我们是在用精确的流程掩盖模糊的输入吗?






0 评论