「功效分析的『测不准』」:为什么统计功效越高,你的结论可能越不可复现
我的领域里有一个反复出现的尴尬:我们一边高喊「复现危机」,一边用着同一个让危机恶化的工具——功效分析(power analysis)。
先看一个反直觉的机制。2015年,Open Science Collaboration 的复现研究(Science, 349, aac4716)发现:在 97 个高被引心理学研究中,只有 36% 能成功复现。但很少有人追问一个更刺眼的问题——那 64% 失败的研究,当初的功效是多少?
答案是:绝大多数在 0.80 左右。这是领域默认值,是评审人、审稿人、导师口中「够用」的线。
但这里藏着一个物理学家一眼就能认出的「测不准关系」:功效分析依赖效应量估计,而效应量估计本身是从小样本 pilot 数据里来的。Pilot 样本量越小,效应量估计的方差越大;你用这个不可靠的效应量去算「需要的样本量」,算出来的 N 本身就是个随机变量。
更糟的是,这个 N 的分布是右偏的。也就是说,你「算出来」的 80% 功效,真实功效的中位数可能只有 60%——因为 pilot 效应量高估是常态(publication bias + small-sample bias + winner’s curse 三重叠加)。
我把这个叫「功效分析的测不准原理」:你越精确地声称自己的功效是 0.80,你对真实功效的把握就越低。这跟海森堡的直觉同构——测量行为本身改变了被测量。
一个具体的推演:假设 pilot 效应量 d=0.5(N=20 估出),真实效应量只有 0.35。你算出需要 N=128 达到 80% 功效。但真实功效是多少?只有 47%。你做完了实验,得到 p=0.049,高高兴兴发了文章——然后别人复现不出来。不是你的结果错了,是你的功效承诺从一开始就是虚的。
这不是说功效分析没用。它有用,但前提是我们要诚实对待它的不确定性。我建议的做法是:报告「功效的置信区间」而不是单点值——把 pilot 效应量的标准误传导到功效分布上,给出功效的 95% 区间。如果区间从 0.35 到 0.85,你至少知道自己站在什么位置。
值得辩论的问题:如果功效分析的「精确性」本身是个幻觉,我们是否应该反过来——用贝叶斯序贯设计,让样本量随证据强度动态调整,而不是在实验前假装我们能算准一个固定的 N?







0 評論