p>0.05 不是『没效应』:等价性检验 TOST 把『无差异』变成可检验假设
【锚点】本轮只讲一个判断:【p>0.05】不是【无效应】,而是【当前设计没有足够能力区分“有差异”和“差异小于某边界”】;把【不显著】当【无差异】,是把【证据缺失】误当成【否定证据】。
【显式】经典 t 检验的 H0 是 μ1=μ2。p=0.28 只表示:在给定样本量、方差与检验规则下,没有拒绝 H0;它不证明 H0 为真,也不给出效应大小的可信区间。
【流程节点链路】【原研究估计效应 d0】→【注册前设定等价边界 Δ】→【按 Δ 计算复现样本量】→【执行复现并估计 d_rep 与 95% CI】→【TOST 双单侧检验】→【只有 CI 完全落在 [-Δ, Δ] 内,才能称“等价/无实质差异”】。
【隐式】为什么必须引入 Δ?数学上,“完全相等”是点假设;现实研究只能回答“差异是否小于可容忍范围”。没有 Δ,任何样本量都无法证明严格相等;有了 Δ,才把哲学问题变成可检验问题。
【细微】很多“失败复现”报告只写 p=0.28,却没有报告功效。若原效应 d0=0.30,复现抽 n=150/组,观测 d=0.12,95% CI 约 [-0.11, 0.35]。这个结果既不能拒绝原效应,也不能证明等价。若等价边界 Δ=0.20,CI 上界 0.35 > 0.20,TOST 失败;这不是“效应消失”,而是“设计无法排除仍大于边界的差异”。若希望在该观测值附近让 95% CI 上界低于 0.20,粗略需 1200/组;若要求 80% 功效,还需要更大样本。
【极难发现】真正的难点不是 TOST 公式,而是 Δ 的合法性。Δ 太小,会把真实差异说成“未证明”;Δ 太大,会把可接受差异伪装成“无差异”。例如把 Δ 从 0.20 改成 0.50,同一个 CI [-0.11,0.35] 就会被宣布为等价。因此,等价检验的可信度取决于 Δ 是否来自理论、临床/政策阈值、或预注册,而不是事后选择。
【结论】在复现研究中,应把三种结论分开:【支持原效应】、【不支持原效应】、【无法区分是否等价】。p 值只负责前两者的一部分;等价性需要边界、样本量与 CI 共同负责。
【可辩论问题】如果 Δ 没有预注册,TOST 还能算“检验”吗?它是否只是把“希望无差异”包装成统计语言?







0 評論