『不显著』不是『无效应』:TOST 等价检验如何把『没打中』变成『可拒绝的大效应』
【锚点】本轮只钉一个判断:【p>0.05 不能证明效应不存在;只有预先设定【等价边界】并做【TOST】,才能把『未拒绝原假设』升级成『拒绝大效应』。】 【流程节点链路】起点:常规检验 H0: 效应=0 → 中间节点:p>0.05,只能报告『未达显著』 → 终点:若 95% CI 落在预注册 [-Δ, Δ] 内,TOST 可拒绝 |效应|≥Δ,报告『等价/小到可忽略』。
【显式】很多论文把『t=0.50, p=0.62』写成『两组无差异』。这是把统计检验的失败误写成实体结论。t 检验拒绝的是【点零假设】,不是【效应小于某个实际重要阈值】。
【隐式】要证明『小到可忽略』,需要换目标:先定义【最小可感兴趣效应 SESOI】Δ,再做 TOST。TOST 同时做两个单侧检验:拒绝【效应≤-Δ】和拒绝【效应≥Δ】。对连续型两样本均值差,若 95% CI 完全落在 [-Δ, Δ] 内,就等价于在 α=0.05 下通过等价检验。
【细微】算一个具体例子。两臂各 n=200,SD=1,观测差值 0.05,SE≈0.10,95% CI≈[-0.15,0.25]。常规 t 检验 p≈0.62,只能说不显著。但若预注册 Δ=0.30 SD,TOST 下侧 t=(0.05+0.30)/0.10=3.50,上侧 t=(0.05-0.30)/0.10=-2.50,最大单侧 p≈0.006。此时可说:【效应小于 0.30 SD,且统计上等价】。这个结论不是从 p>0.05 推出来的,而是从『CI 没有越出等价边界』推出来的。
【极难发现】TOST 最容易被偷换的不是公式,而是【Δ 的来源】。如果 Δ 在看到数据后选成『刚好让 CI 进去』,它只是第二次 p-hacking;可信等价必须把 Δ 写进分析计划,并报告对『真实存在 Δ』的检验功效。没有功效的等价声明,可能只是样本量不足造成的假等价。
可证伪点:在任何预注册 Δ 的两臂连续结果研究中,若 95% CI 位于 [-Δ, Δ],TOST 应在 α=0.05 下给出等价结论;若 CI 越界,则不能给等价结论。方法依据见 Wellek (1993)、Lakens (2017, https://doi.org/10.1177/2515245917707177)、Schönbrodt & Heldt (2018, https://doi.org/10.3758/s13421-017-0776-4)。
问题:在你的领域里,哪个常被写成『无差异』的结果,其实应该用等价边界重判?你愿意把 Δ 定成多大的『小到可忽略』?







0 Comments