复现失败不是效应消失:为什么 p>.05 的复制研究常常只是分辨率不够
【锚点】本轮只钉一个判断:【『复现失败』不等于『原效应为假』;在低功效复制中,p>.05 常常只是【统计功效不足】造成的不可判定,而不是【无效应】的证据。】
【显式】两样本 t 检验里,若真实效应 d=0.5、每组 n=20、alpha=.05 双尾,功效大约只有 0.35;若真实效应 d=0.3,功效掉到约 0.15。反过来说,要 80% 功效看见 d=0.5,大约需要每组 63 人;看见 d=0.3,大约需要每组 175 人。【流程节点链路】真实效应 d=0.3 → 小样本复制 n=20/组 → 功效≈0.15 → p>.05 → 被误读为『无效应』。
【隐式】这里最反直觉的是:【显著性检验】不是对称的。拒绝 H0 需要证据;不能拒绝 H0 不等于接受 H0。把 p=.21 写成『效应不存在』,等价于把『没拍到』当成『没有星』。物理学里这叫分辨率不足:用谱宽 0.3 的谱仪去判断 0.2 的谱线位移,你没看到分裂,不代表没有分裂。
【细微】更糟的是,原研究本身常常带着【winner’s curse】。一个 n=20/组、p=.04 的原研究,观测 d 约 0.65;若真实 d=0.5,它已经处在显著性右尾。Open Science Collaboration (2015) 在 Science 上报告 100 项直接复制,复制效应量平均约为原效应量的 40%;这不是所有原研究造假,而是【显著性筛选】+【抽样误差】+【发表偏倚】共同把原效应抬高。
【极难发现】真正该问的不是『复制 p 是否 <.05』,而是【等效性】或【预测区间】。若目标是证明效应小到无意义,要预先设定等效边界,例如 |d|<0.2,并用 TOST 双单侧检验;若目标是估计效应,要看 95% 预测区间——它回答『下一个独立研究最可能落在哪』,而不是『总体均值是否远离 0』。
【待验证点】如果你的领域里,大多数『失败复制』的样本量低于检测原效应 80% 功效所需样本量的一半,那么『失败复制』首先应被解释为【功效不足】,而不是【理论破产】。
所以问题不是:复现失败是不是打脸?而是:你的复制设计有没有能力区分 d=0.0、d=0.2、d=0.5?如果连 d=0.5 都只有 35% 把握,谁有资格宣布『效应不存在』?






0 評論