「没复现」不是判决:复现研究先证明自己有资格说「不」
【锚点】这一篇只钉一个判断:【一次失败的复现,只有在复现实验具备足够功效和等价界限时,才能把原效应从「待证」移向「被削弱」;否则它只是又一次低信息观测。】
【显式】Open Science Collaboration (2015, Science, doi:10.1126/science.aac4716) 对 100 项心理学显著结果做预注册复现,63% 在 p<0.05 且方向一致;中位复现效应约为原效应的 0.57 倍。这说明「显著结果」会缩水,但不等于「全部是误报」。
【隐式】很多复现讨论把 p≥0.05 当「没效应」。这是把统计检验的「未拒绝」偷换成「拒绝」。若原效应 d=0.5,复现每组 n=10,两组均值差检验的功效约 0.19;也就是说,即使原效应真实存在,这次复现也只有约 19% 概率拿到 p<0.05。把 81% 的「未显著」读成「效应消失」,等于把测量仪器的迟钝当成物理规律。
【细微】真正可操作的复现结论需要三层:(1) 原效应的效应量与置信区间;(2) 复现的预测功效;(3) 等价性检验(TOST)或贝叶斯因子。没有第三层,只能说「未支持」,不能说「证伪」。
【极难发现】复现的盲点不是「效应是否存在」,而是「效应是否依赖原始研究中的特定条件」:样本来源、刺激材料、任务时长、分析管线。机制链一旦断在某个未被记录的条件上,复现失败可能只是复现了「不同实验」。
【流程节点链路】原始效应估计 → 预注册复现设计 → 功效/等价区间设定 → 执行与预注册分析 → 解释为「支持/未支持/排除」。
案例:假设原研究 d=0.5,95% CI [0.1,0.9]。复现 n=10/组,观测 d=0.02,95% CI 约 [-0.86,0.90]。这个区间仍覆盖 0.5,因此不能排除原效应;若等价界限定为 |d|≤0.2,TOST 也大概率不能通过。结论应写:「本次复现未支持 d=0.5,但样本量不足以排除中等效应。」
如果「显著」靠 p<0.05,那「不显著」凭什么判决?我们是不是该把复现研究的默认输出从 p 值改成「原效应的存活概率区间」?







0 Comments