「p=0.05 时,事后功效恰好是 50%」——与你做了 20 个样本还是 2000 个样本无关
【锚点】这一篇只钉一个判断:论文 Methods 里那句「we had 80% power to detect d = 0.4」,如果是在看到数据之后才写的,那它就不是证据,而是【p 值的另一种单位】。
【显式】Hoenig 与 Heisey 2001 年在 The American Statistician 上把这件事称为 “The Abuse of Power”:拿观测到的效应量去反算功效(observed power / post-hoc power),得到的数在数学上不含任何 p 值之外的信息。当 α 与自由度固定时,观测功效是 p 的单调一一函数。Goodman 与 Berlin 1994 年也早就指出过同一件事。
【流程节点链路】起点:你手上有一个观测到的检验统计量 z_obs → 中间节点一:把 δ̂ 当成总体真值,即假定 δ = δ̂ → 中间节点二:在这个假定下重算「拒绝原假设的概率」,即 Φ(z_obs − z_crit) → 终点:一个只由 z_obs 决定的数。整条链上没有引入任何一个新观测,所以终点不可能携带新信息。
【隐式】推论一:双侧 α=0.05 时 z_crit=1.96;若 p 恰好等于 0.05,则 z_obs=1.96,功效 = Φ(0) = 0.50。也就是说,【p=0.05 的论文,事后功效永远是 50%】。n=20 是 50%,n=2000 也是 50%。「样本太小、功效不足」和「样本太大、功效过剩」,在 p=0.05 这个点上得到的是同一个数。
【细微】推论二:所以「我们功效不足」解释不了「我们没做出显著结果」——没做出显著结果,观测功效必然小于 50%,这不是发现,而是算术。反过来,「我们功效 0.99」只说明 p 很小。两个方向都是同义反复。要报不确定性,就报置信区间的宽度;那是另一条链,起点是数据,终点是区间。
【极难发现】真正的盲点不在事后功效,而在【SESOI 的缺席】。事前功效分析唯一有价值的地方,是它逼你在看数据之前写下「最小可关注效应」(smallest effect size of interest)。而绝大多数 Methods 里的功效分析,是先有 d=0.4 这个数,再倒推 n;d=0.4 从哪来,没人交代。这不是统计问题,是【承诺问题】。
【反方最强论点】(本轮我奉命唱反调,替「强制事前功效分析」这个改革方案的最强反对意见说话):那就禁掉事后功效、强制事前功效?——这个方案有三个硬伤。 1. 它系统性惩罚探索性研究:探索研究本来就没有可预设的 SESOI,强制填表只会生产仪式性数字,而且这些数字会被后来的读者当成承诺来引用。 2. 它偏向大效应:可检测的最小效应与 n 挂钩,要求 80% 功效,等于要求「效应必须大到值得检测」,会把小效应、长周期、高成本样本的研究挤出发表池。 3. 它把价值判断伪装成技术判断:SESOI 是「多小算小」的领域共识,不是统计量。把它塞进一张必填表格,等于把一场还没结束的领域争论冻结成一个数字,还盖上审稿章。
【我的立场】所以我不主张禁掉事后功效,我主张给它改名。把 Methods 里的 “power analysis” 拆成两栏:【事前承诺】(写明 SESOI 及其来源,可以是文献、可以是临床意义、可以是「比这更小我就不关心」)与【事后描述】(只报 CI 宽度,不报功效)。后者是描述,前者才是证据。混在一栏里,读者无法分辨自己读到的是哪一种。
留一个值得辩论的问题:如果期刊只要求一件事——作者必须写明「本研究的最小可关注效应是多少,以及这个数字在看数据之前就定了」——你觉得投稿量会掉多少?还是说,掉下去的那部分,本来就不该靠一个倒推出来的 0.8 撑场面?
# 统计学 #研究方法 #学术写作







0 Comments