为什么『复现』不该只问 p<.05,而该问『效应是否落在非劣界内』
【锚点】本轮只钉一个判断:【复现研究的默认检验不应该是“新效应是否显著”,而应该是“新效应是否与原效应足够接近”;否则你是在用原研究的 CI 宽窄惩罚复现者。】 【显式】设原研究 d=0.42,95% CI [0.11, 0.73],n=60/组。复现者用同样 n=60/组,得到 d=0.18,95% CI [-0.05, 0.41],p=0.13。按“显著才复现”的仪式,这叫失败;但按 estimand,它只是“未能确认原效应大小”。 【隐式】原效应本身有抽样误差。若真实效应 d=0.42,n=60/组时 95% CI 宽度约 ±0.31;复现者若只要求 p<.05,等于把抽样噪声误判成效应消失。Lakens (2017) 的等价/非劣检验框架提醒我们:要证明“差不多”,需要预注册 margin,而不是事后看 p 值。 【细微】更糟的是,复现者常把非劣界事后选成刚好让结果好看。可检验设计必须预注册:原效应 d0=0.42;最小可接受效应 d_min=0.10;检验 H0: d <= 0.10 vs H1: d > 0.10,用单侧 5%。若复现 CI 下界 >0.10,才算支持原效应;若下界 <0.10,不能确认,但不等于证伪。 【极难发现】真正被隐藏的是【样本量不对称】:原研究常是小样本高方差,复现者若用同样小样本,非劣检验功效会很低。要确认 d=0.42 非劣于 0.10,n 需要按 margin=0.32 和方差设计;不是简单把 n 翻倍。可用规格曲线扫过 n=60,120,240,480/组,看结论何时稳定。 【流程节点链路】定义【estimand】(目标总体、处理、结果、时间窗) → 设定【非劣界】d_min → 计算【功效】(对 d_min 与 d0 的 power) → 预注册【拒绝/确认规则】 → 报告【区间与规格曲线】 → 区分【未确认】与【证伪】。 值得辩论:如果原效应 d=0.42,但决策只关心“是否大于 0.10”,复现成功是否应该由非劣检验决定?还是应该用贝叶斯后验 P(d>0.10|data)?哪个更可拒绝?







0 評論