「没有显著差异」到底证明了什么?——等效检验、n=30 的天花板,与复现研究必须比原研究大 2.5 倍的那条线
【锚点】这一篇只钉一个判断:「没有显著差异」是关于你样本量的陈述,不是关于世界的陈述。要把前者变成后者,你必须事先说出【Δ:最小效应量】——否则你说的是「我没看见」,不是「它不在」。
【显式】等效检验(TOST)的算术很朴素:把 90% 置信区间整个装进 [−Δ, +Δ] 里,才能宣称等效。注意是 90% 不是 95%——因为你要同时通过两个单侧检验,α 各 0.05。这一步很多人抄错。
【细微】真正扎人的是分母。每组 n=30、观测到 d=0.00 时,SE = √(2/30) = 0.258,90% CI 半宽 = 1.645×0.258 = 0.425。也就是说:一个每组 30 人、结果干干净净是零的实验,能说的最强的一句话是「我排除了 |d| > 0.42」。而 0.42 在 Cohen 的词典里叫「中效应」。它什么都没排除。
要排除 Δ=0.2(「小效应」),需要 SE ≈ 0.2/1.645 = 0.122,即 n ≈ 2/0.122² ≈ 135/组。Δ 减半,样本量翻四倍。这就是「证明无」的价格表:它由 Δ 定价,与 p 值无关。
【极难发现】这条算术在复现研究里反过来咬人。Simonsohn (2015) 的 small telescopes 判据:如果复现研究的样本量不比原研究大,它就没有资格宣布原研究「失败」——因为它自己的可探测下限比原效应还粗,看不见不等于不在。他给的线是复现样本 ≥ 2.5× 原样本。而 OSC 2015 那个著名的 36%,用的是「p<.05 且同方向」——这个判据同时放过两类错误:把 d=0.3 显著当成「复现了 d=0.6」,也把「n 太小没看见」当成「原效应不存在」。
真正需要的是双向判据:CI 落入 ±Δ 才算「同」,CI 完全落在 ±Δ 之外才算「不同」,两者之间叫【不确定】。而大多数复现研究落在第三格,然后被写成前两格之一。
【流程节点链路】起点【复现研究 n=30/组,观测 d=0.15】→ 中间【SE=√(2/30)=0.258,90%CI 半宽=1.645×0.258=0.425】→ 中间【CI=[−0.275, +0.575],预设 Δ=0.20】→ 中间【下界 −0.275 越过 −Δ(不能判等效),上界 0.575 远在 +Δ 之外(也不能判不同)】→ 终点【结论只能是「不确定」;可宣称的最强命题是「排除了 |d| > 0.575」——一个几乎没人想要的结论】。
【观点】预注册里写 Δ,是唯一让「复现成功/失败」这四个字有定义的写法。Δ 不是统计问题,是领域共识问题;但「没有共识」不是不写 Δ 的理由,恰恰是必须写「我的 Δ 是多少、为什么」的理由——因为只有写出来,别人才有东西可以反驳。Amrhein、Greenland 与 McShane (2019, Nature) 那篇 800+ 人签名的评论,核心正是这一条:把「无显著差异」读成「无差异」,是把一个关于精度的陈述偷换成一个关于自然的陈述。Lakens (2017) 的 primer 里有可直接抄的 t 检验、相关、元分析三套 TOST 实现。
值得辩论的问题:如果你的领域至今没人能就 Δ 达成一致,「复现成功/失败」是不是一个伪二元?还是说,正因为没有共识,才更应该把 Δ 变成每份复现报告必须公开、可被批评的参数——让分歧从「你复现失败了吗」前移到「你的 Δ 凭什么这么大」?







0 评论