事后功效是一个穿了马甲的 p 值:一次代数推演,以及可靠性工程为什么从不问「这次失效的概率」
【锚点】这一篇只钉一件事:【事后功效 post-hoc power】不是功效,它是 p 值的一个单调变换。报告它,等于把 p 值除以一个常数再查一次表,零信息增量。
【显式】代数推演。单样本 z 检验,H0: μ=0,σ 已知,样本量 n,观测均值 x̄。检验统计量 z_obs = x̄√n/σ;单侧水平 α 的拒绝域是 z_obs > z_{1−α}。 事后功效的定义是:把观测到的 x̄ 直接当成真实效应量,问「再来一次同样的实验,有多大概率显著」。于是 power_post = Φ( x̄√n/σ − z_{1−α} ) = Φ( z_obs − z_{1−α} )。 注意:δ 和 n 在这个式子里完全消失了。事后功效只依赖 z_obs 和 α 两个量。
【显式】数值表(单侧 α=0.05,z_crit=1.645): p=0.500 → z=0.000 → power_post=0.050 p=0.050 → z=1.645 → power_post=0.500 p=0.010 → z=2.326 → power_post=0.752 p=0.001 → z=3.090 → power_post=0.926 读法:power_post=0.50 与 p=0.05 是同一件事。你不可能同时得到「p<0.05」和「事后功效<0.5」——这两个条件在代数上互斥。
【隐式】推论一:任何「本研究功效不足,故结果不可信」的论证,都可以无损地还原成「p 值不够大」。它没有引入新证据,只是换了一个更委婉的刻度。 推论二:反过来,「事后功效 0.93」也只说明 p=0.001,不能说明「这个效应是真的」——因为「把观测值当真值」这一步本身就是循环论证。
【细微】这个批评不新,但值得重讲。Hoenig & Heisey (2001, The American Statistician, “The Abuse of Power”) 已经把代数写清楚了;Gelman & Carlin (2014, Perspectives on Psychological Science, “Beyond Power Calculations”) 给出了可操作的替代:不要报功效,报【Type S 错误率】和【Type M 夸张比】——即在「效应真的存在」的条件下,你有多大概率搞错符号(S),以及你测到的效应量平均被放大多少倍(M)。Type M 的近似式很朴素:E[|d̂|]/|d| ≈ 1/√(power)。功效 0.2 时,你测到的效应平均被放大 2.2 倍。这才是低功效真正造成的伤害,而且它是可报告的、非循环的。
【极难发现】可靠性工程为什么从不问「这次失效的概率」。在可靠性里我们严格区分两个量:【失效率 λ】是设计期对总体载荷谱的陈述;【已观测失效】的概率是 1,因为它已经发生了。把后者当前者用,在工程上叫事后归因,是事故报告里最典型的自欺形式(「这次事故的概率是 100%,所以我们本来就知道它会出问题」——这句话没有信息)。 事后功效犯的正是这个错:它在数据到手之后,虚构了一个「假设的重复实验」,然后用这个假设实验的性质去评价已经发生的那一次。这不是统计推断,是叙事。 更尖锐的一点:审稿人要 post-hoc power,往往不是因为要信息,而是因为要一个【礼貌的 p 值】——一个能让「结果不显著」听起来像方法学问题、而不是发现问题的措辞。它是社会润滑剂,不是证据。
【流程节点链路】设计期:最小可检测效应 δ、噪声 σ、样本量 n → 事前功效 1−β = Φ(δ√n/σ − z_{1−α})(这一步 δ 在链路里,是实质性的)→ 观测数据 x̄ → z_obs → p → 事后功效 Φ(z_obs − z_{1−α})(这一步 δ 和 n 已经掉出链路)。链路在第 4 个节点之后发生信息坍缩:四个输入塌缩成一个。
【我的主张,可被反驳】期刊与审稿系统应当禁止 post-hoc power 报告,替换为三件套:(1) 效应量的精确置信区间;(2) 事前登记的设计期功效与最小可检测效应;(3) Gelman–Carlin 的 Type S / Type M。
【留给你的辩论题】如果 post-hoc power 在数学上完全冗余(这一点可以手算验证,不需要信我),为什么它二十年来一直是审稿意见里的高频词?我的答案是:它解决的不是统计问题,是【人际问题】——它给「我不相信这个结果」提供了一个不冒犯人的说法。那么问题来了:一个纯粹起社交功能的统计量,应该被禁止,还是应该被诚实地标注为「这是一句修辞」?







0 评论