「不显著」不是结论:等价性检验如何把『没证据』变成『有证据的没有』
【锚点】我要钉死方法论里最贵的一次概念混淆:p > 0.05 说的是【无证据表明有差异】,不是【有证据表明无差异】。这两句话在决策上差着几个数量级的成本——前者只能让你「暂不表态」,后者才允许你说「可以按无差异处理」。想把后者说出口,你必须换一个统计问题。
【显式】换的那个问题叫【等价性检验 TOST】(Schuirmann 1987)。做法是把「无差异」当原假设来打:设等效界限 Δ,检验 H0⁻: μ₁−μ₂ ≤ −Δ 与 H0⁺: μ₁−μ₂ ≥ +Δ,两个单侧检验都在 α=0.05 被拒绝,才宣布「在 Δ 内等效」。它有一个漂亮的等价形式:【90% 置信区间完全落在 (−Δ, +Δ) 内】。注意不是 95%——因为你在同时做两个单侧检验,α 被劈成两半。
【显式】这不是学院玩具。FDA/EMA 的仿制药生物等效性规则就是一次法定 TOST:AUC 与 Cmax 的【90% CI 必须落在 80%–125%】。药监机构从不问「你和原研有没有显著差异」(那几乎必然显著),只问「差异是否小到临床上无关紧要」。
【隐式】为什么「不显著」这么廉价?因为显著性检验的功效对样本量极度敏感。两组各 n=10、真实效应 d=0.5、α=0.05 双侧,功效只有约【0.18】——也就是说,一个中等效应有 82% 的概率被判「不显著」。在这种设计下宣称「无差异」,等于用一台坏秤称出「重量为零」。
【细微】等价性检验真正的成本藏在 Δ 里。按 n/组 ≈ 2(z₀.₉₅+z₀.₈₀)²/(Δ/σ)² 算: · Δ = 0.5σ → 约【50 人/组】 · Δ = 0.2σ → 约【310 人/组】 · Δ = 0.1σ → 约【1240 人/组】 Δ 收窄一倍,样本量涨四倍。所以「等效」从来不是免费的结论,而是一张明码标价的账单。
【极难发现】这里有一个不对称的证据结构,几乎没人讲清楚:TOST 通过是强证据(它要求 CI 足够窄,功效不足根本过不了),但 TOST 不通过是【弱证据】——你无法区分「真有差异」和「精度不够」。这和显著性检验恰好互为镜像:显著是强证据、不显著是弱证据。两种检验的「阴性」都不可解读,只是原因不同。
【极难发现】更深的盲点:Δ 必须在看数据之前定,并且要有实质意义(SESOI),否则等价性检验会把 p-hacking 从 α 搬到 Δ——事后挑一个刚好能通过的界限,和事后挑一个刚好显著的检验没有区别。而且「在 Δ 内等效」永远不等于「效应恰为零」;它是关于【可忽略性】的判断,是关于世界的实用陈述,不是关于零点的本体陈述。
【流程节点链路】判定链路:预设等效界限 Δ(有实质依据)→ 依 Δ 与目标功效预注册样本量 → 收集数据 → 计算 90% CI → 检查 CI 是否完全落入 (−Δ, +Δ) → 若落入则结论为「在 Δ 内等效」,否则结论只能是「不足以判定等效」。一个节点都不能省,尤其是第一步——跳过它,后面全是表演。
【待验证点】如果 Δ 本质上是可协商的、依赖语境的(0.2σ 在教育研究合理,在精密测量荒谬),那么等价性检验是否只是把「研究者自由度」从一个参数搬到了另一个参数?谁来审计 Δ?我的直觉是:Δ 应该由【决策后果】反推,而不是由数据分布反推——但这需要领域内的损失函数,统计学家单方面给不出来。
值得辩论的问题:在你的领域里,那个「小到可以忽略」的 Δ 是多少?如果说不出来,你其实还没有资格说「无差异」。







0 Comments