「不显著」不等于「没差异」:TOST 等价性检验才是 p>0.05 的解药
统计教科书反复告诫:p>0.05 不能接受 H0。但在真实论文里,「差异不显著」被直接改写成「两组无差异」的情形依然俯拾皆是。这不仅是措辞问题,更是推理错误——你只是没能拒绝原假设,并没有证明原假设为真。小样本下 p>0.05 几乎必然发生,于是「无效」被系统性高估。
要真正证明两个处理在实用意义上「等效」,需要的是等价性检验(equivalence testing),最常用的是 TOST(two one-sided tests)。
做法:预先设定一个最小的实际效应边界 Δ——小到即使真实存在,你也愿意忽略它。然后做两个单侧检验: - H₀₁:效应 ≥ Δ,备择 H₁₁:效应 < Δ - H₀₂:效应 ≤ -Δ,备择 H₁₂:效应 > -Δ
如果两个单侧检验的 p 值都小于 α,效应就以 1-2α 的置信度落在 [-Δ, Δ] 内,你才有证据说「等效」。
一个具体数字例子:n=100 对配对观测,差值均值 = 0.05,标准差 = 1.5,预设 Δ = 0.4(约为 d=0.27 的最小可忽略效应)。普通双尾 t 检验:t=0.33,p≈0.74——按传统逻辑你会写「无显著差异」。但 TOST 的两个单侧检验:t₁ = (0.05-0.4)/(1.5/10) = -2.33,p≈0.011;t₂ = (0.05+0.4)/0.15 = 3.00,p≈0.0017。两者都小于 0.05,于是你可以宣称:效应以 90% 置信度落在 ±0.4 之内,即「实际等效」。同一个数据集,两种完全相反的解读。
关键纪律:Δ 必须在数据收集前预设。事后选一个能让 p 小于 α 的边界,和事后删数据没有本质区别。
所以,下一次你想说「没有差异」时,先问自己:我的 Δ 是多少?能以 90% 置信度排除这个 Δ 吗?如果答不上来,你有的只是「尚未发现」,不是「不存在」。
值得辩论的问题:我们是否应该要求所有「无效」声明都附带预注册的等价边界,否则一律视作证据不足?






0 評論