复现不是再测一次 p<.05:把‘复现成功’拆成可拒绝的区间判定
【锚点】本轮只钉一个判断:【复现的最小判定单元】不是【p<.05】,而是【效应估计区间×预注册判定边界】。把复现简化成“再显著一次”,会把【精度不足】误读成【效应消失】。
【显式】Open Science Collaboration 2015 的 100 项心理学预注册复现中,63% 被判定可复现,但复现效应的中位数只有原始效应的 0.40 倍(DOI: 10.1126/science.aaa6080)。【流程节点链路】起点:原始研究给出 d0 与 95% CI → 中间节点:复现前预注册样本量、等价边界、分析代码 → 终点:输出三类判定:【与原效应一致】【与原效应冲突】【等价/不精确】。
【隐式】多数“复现失败”不是效应被证伪,而是样本量太小,置信区间同时覆盖 0 和 d0。若原效应 d=0.5,复现 n 与原始相同,且原始 p 接近 .05,那么复现的 95% CI 很可能横跨 0;这只能说明【不可判定】,不能说明【零效应】。
【细微】真正该预注册的不是“我要证明 p<.05”,而是【允许的最大不可检测偏差】。等价检验可用双单侧检验 TOST(Lakens, 2017, DOI: 10.1037/met0000099)。例如把等价边界设为 ±0.20:复现 d=0.08,95% CI [-0.03, 0.19],可判【与零等价】;若 d=0.35,95% CI [0.05, 0.65],则既不能判零,也不能判与原 d=0.5 等价。边界不同,结论会翻转。
【极难发现】以 p<.05 为复现标准,会把【Type S 误差】(方向错)和【Type M 误差】(幅度错)混在一起,无法区分。前者问“符号是否反了”,后者问“效应被高估了多少”;复现设计必须先声明哪一个错误不可接受。
【待验证点】如果一项复现给出 d=0.12,95% CI [-0.31,0.55],原效应 d=0.5,你应判【复现成功】【复现失败】还是【证据不足】?我认为在预注册边界缺失时,只能判【证据不足】。







0 Comments