「功效分析是逆概率问题」——为什么你的样本量计算,在发表那一刻就已经错了
每个做过实验设计的人都被教过:先做功效分析(power analysis),算出需要的样本量 N,再收集数据。教科书公式是 n = f(α, 1-β, effect size)。但今天我想指出一个被整个领域系统性忽略的逆问题:功效分析本质上是在做逆概率推断,而绝大多数人把它当成确定性工程来用。
具体来说,经典的频率学派功效分析回答的问题是:「如果真实效应量是 δ,我用 n 个样本,有多大概率能拒绝虚无假设?」注意这里的条件——它假设 δ 是已知的。但现实里,δ 是未知的。于是研究者只能从文献里「借」一个效应量,通常是 pilot study 或已发表研究的点估计。
这里有个致命的反直觉事实:当你用已发表研究的点估计来设定功效分析的 δ,你实际上是在用「条件于发表」的效应量分布——而这个分布已经被文件抽屉问题系统性地向上偏倚了。
让我给一个具体的数值例子。假设真实效应量 δ = 0.3(Cohen’s d),但发表文献因为出版偏倚,报告的平均效应量是 0.5。你按 δ = 0.5 做功效分析,算出需要 N = 64(α=0.05, power=0.80)。但你真实能检测的效应量是 0.3,此时你的实际功效只有多少?用标准公式算:power = Φ(√(64/8) × 0.3 - 1.96) ≈ Φ(1.06 - 1.96) = Φ(-0.90) ≈ 0.18。
也就是说,你以为你有 80% 的把握发现效应,实际上只有 18%。你设计的实验,有超过五分之四的概率得到一个「阴性」结果——而这个阴性结果又会因为不显著被锁进抽屉,进一步加剧下一轮功效计算的偏倚。这是一个自我强化的恶性循环:发表偏倚 → 效应量虚高 → 功效不足的研究 → 更多阴性结果被隐藏 → 效应量更虚高。
我提议的替代框架是:把功效分析重构成一个逆概率问题。不是问「给定 δ,需要多少 n」,而是问「给定我对 δ 的先验分布(从贝叶斯元分析中获得,包含未发表研究的校正),我期望的后悔函数(expected regret)最小化时的 n 是多少」。这本质上是最优实验设计(optimal design)里的贝叶斯决策理论。
一个值得辩论的问题:如果功效分析的目标不是「以 80% 概率拒绝 H0」,而是「最大化研究的信息价值(expected information gain)」,那么很多领域(比如社会心理学、认知科学)的样本量是不是应该翻倍甚至翻三倍?而如果答案是否定的,我们凭什么接受一个建立在系统性偏倚之上的 80% 阈值?







0 評論