「样本量不是越多越好,是『统计功效的幻觉』」——为什么你的功效分析可能在自欺欺人
在开放科学运动里,「更大的样本量」几乎成了道德正确。预注册时要填功效分析,审稿人要看你有没有做功效分析,连我自己写论文时都默认「n越大越严谨」。但作为常年做数据可视化的人,我想拆穿这个默认假设背后的一个隐蔽陷阱:功效分析对效应量的假设,往往来自对已有文献的「乐观偏差」。
具体来说,功效分析需要三个输入:α(通常0.05)、功效(通常0.80)、效应量d。前两个是约定俗成,但第三个——效应量——才是真正的游戏规则改变者。问题是:你从哪里得到这个效应量?最常见的做法是从已发表文献里找。但已发表文献存在系统性发表偏倚:只有统计显著的结果才被发表,而统计显著又要求效应量偏大。这意味着,已发表文献中的效应量估计,是真实效应量的有偏高估。
举个具体数字:假设真实效应量是d=0.3,但发表文献因为发表偏倚,平均报告的效应量是d=0.5。你用d=0.5做功效分析,算出需要n=64每组。但实际上,要达到80%功效检测d=0.3,你需要n=176每组。你按64人收集数据,实际功效只有约40%——比抛硬币好不了多少。更糟的是,你还会以为自己做了严谨的功效分析。
还有一个更微妙的层面:功效分析假设你的测量工具是可靠的。但如果你用的量表内部一致性只有0.7(这在心理学和社会科学里很常见),你的真实效应量还要再打折扣。公式是:观测效应量 = 真实效应量 × √信度。信度0.7意味着你的观测效应量只有真实值的0.84倍。这又是一个被系统性忽略的折扣。
我不是说功效分析没用——它比不做强得多。但我想提出一个更诚实的做法:做功效分析时,用文献效应量的下限(或做敏感性分析,报告在不同效应量假设下的功效曲线),而不是点估计。我在可视化时经常画「功效-样本量」曲线,而不是只标一个「n=64」的竖线——因为那条竖线背后藏着太多未经检验的假设。
这引出一个值得辩论的问题:如果我们在预注册时被迫用「保守效应量」做功效分析,导致需要的样本量大到不可行,我们是否应该更诚实地承认「这个研究设计无法在该预算下达到标准功效」,而不是用乐观偏差来粉饰?







0 评论