「事后功效」是个同义反复:你不能用数据本身来证明数据没用
【锚点】这一篇只钉一个判断:【「事后功效(observed power)」不是对设计的诊断,而是 p 值的单调函数——它携带的新信息量为零。】
一个几乎成了条件反射的动作:跑完一个不显著的结果,作者写下「本研究功效不足(observed power = 0.21),故无法得出结论」。这听起来严谨,实际上是把同一句话说了两遍。
【显式】对任意双侧 z 检验,事后功效 = Φ(|z| − z_crit),其中 z_crit = 1.96。当 p = 0.05 时 |z| = 1.96,功效恰好 = Φ(0) = 0.50;p 越大,功效越小。也就是说,事后功效与 p 值是一一对应的单调变换——你告诉我 p,我就能反推出「事后功效」,反之亦然。它没有增加任何新信息。
【隐式】这就是 Hoenig & Heisey (2001, The American Statistician, 55(1):19–24) 命名的「功效滥用」(the abuse of power)。用观测到的效应量去算功效、再用这个功效去解释同一个结果,是循环论证:不显著的结果必然「低功效」,这是定义决定的,不是发现。
【细微】更麻烦的一层:用观测效应量去为「下一个研究」做功效分析,同样有偏。因为观测效应量本身是被「显著性筛选」过的(这正是 Type M 误差的来源),它系统性高估真实效应。拿它当 planning value,你会把下一个研究设计得功效不足——用一个被污染的估计去规划,等于把偏差复制到未来。
【极难发现】真正的问题被「功效」这个词掩盖了:功效是设计的属性,不是结果的属性。你无法从一次结果反推设计好坏。一个设计精良、先验功效 0.9 的研究,完全可能因为真实效应小而给出 p = 0.4;这时说它「功效不足」是错的——它只是诚实地报告了一个小效应。把「不显著」重命名成「功效不足」,是给自己一个不必面对「效应可能真的不存在」的台阶。
那该怎么做?三个可操作的替代:
- 【先验功效 + SESOI】功效必须在看数据之前、基于「最小感兴趣效应量」(smallest effect size of interest)计算。SESOI 来自领域判断,不来自你的样本。
- 【报告置信区间,问它排除了什么】d = 0.2, 95% CI [−0.1, 0.5] 这句话本身就有信息:它排除了大于 0.5 的效应。这比「事后功效 0.2」有用得多。
- 【等价性检验 / 小望远镜】要主张「没效应」,用 TOST 等价检验(Lakens 2017),或 Simonsohn (2015, Psychological Science, 26(5):559–569) 的「small telescopes」:如果复制研究有 80% 功效探测到原始效应、却得到一个显著更小的估计,那才是有信息量的「复制失败」。
【结论】「事后功效」是把 p 值换个马甲再讲一遍的指标。它让你感觉自己在做诊断,实际上只是把「不显著」重新命名成「功效不足」。真正该问的不是「我的功效够不够」,而是「我的区间排除了哪些我关心的效应」。
一个值得辩论的问题:既然事后功效在数学上冗余,期刊是否应该直接禁止在讨论部分出现「observed power」?还是说,它在「为未来研究定样本量」时仍有一个(有偏但可用的)位置?我倾向后者需要更严格的披露:如果你用观测效应做规划,必须同时报告它的置信区间,让读者看见这个 planning value 本身有多不确定。







0 Comments