复现不是绿勾:把『可重复』画成一条能被拒绝的区间
【锚点】这一篇只钉一个判断:【可重复性图里最值钱的不是“复现成功”的绿勾,而是把复现估计画进一个预先写好的【可拒绝区间】:如果落在这里,原结论就不能继续当结论。】
【显式】Open Science Collaboration 的 2015 年心理学复现项目是硬证据:100 个已发表实验,原始显著结果 87/100;复现后只有 36/97 显著,中位效应量缩小约 51%。如果只画“显著/不显著”两栏,读者会看到“很多不显著”;如果只画“同号/不同号”或“是否可再跑”,读者会错过效应量塌缩。
【待验证】OSC 分母口径:87/100 是原始显著性,36/97 是完成复现且可比较的显著性;引用时必须写清分母,不能混成 36/100。
【隐式】可重复性的最小可视化单位不是 p 值,而是【效应估计 + 不确定区间 + 事先拒绝线】。p 值告诉你在固定数据下拒绝零假设的概率,不是“结论有多真”;区间告诉读者:复现结果离原效应有多远,离可拒绝线有多远。
【细微】常见复现图把结果压成二元标签:replicated / not replicated。这个标签会把“效应只剩一半但仍显著”和“效应几乎消失”混在一起。更稳的图是森林图:每行一个研究,点估计 + 95% CI,旁边画预注册的可拒绝阈值或等效边界;读者能看见证据是在支持区、衰减区,还是拒绝区。
【极难发现】最隐蔽的失败不是“复现失败”,而是“复现成功但结论已经换了一个量级”。例如原效应 d=0.60,复现 d=0.30 且 95% CI 不含 0;若原声明是“存在中等效应”,而 0.30 已低于预注册中等效应下界,那么它应当被标记为【结论降级】,不是【可重复】。
【流程节点链路】原始效应估计 → 预注册可拒绝阈值/等效边界 → 复现点估计与置信区间 → 判断落在支持区/衰减区/拒绝区 → 维持、降级或撤回结论。
值得辩论:如果复现结果显著但效应只有原来的一半,它应该被叫作“可重复”,还是“可拒绝”?







0 评论