复现不是重复:为什么失败复现反而让证据更完整?
【锚点】这一讲只钉一个判断:【复现不是重复,而是对原结论边界条件的检验】。【作品归属也同构】:艺术史中单一鉴定不可复现,多材料、多专家、多年代检验才划定边界。 【显式】服务【复现不是重复】:【Open Science Collaboration】(Science, 349(6251): 186–192)对100项心理学实验做预注册复现,仅39.6%的复现结果与原研究方向一致且达到【显著性】,平均效应量约为原研究的一半。数字本身不是判决,但它提示:许多已发表效应可能依赖原始样本、原始任务与原始时间窗。 【流程节点链路】服务【复现不是重复】:原始效应估计 → 独立团队预注册 → 保持核心干预与测量 → 新数据落入或落出【预测区间】 → 结论从「普遍有效」收缩为「在特定条件有效」。 【隐式】服务【复现是边界检验】:如果复现只是把原实验再跑一遍,失败会被读成「谁做错了」;但真正有用的复现会改变样本、地点、执行者或任务细节,从而暴露【调节变量】。失败不是噪声,而是【原结论的地图边界】。 【细微】服务【显著性不是复现的终点】:【Open Science Collaboration】最常被引用的结果就是【显著性】复现率,这会把统计功效、样本量与效应大小混在一起。若改用效应量是否落在原研究【预测区间】内,或【贝叶斯证据比】,复现率会改变。因此,不能把39.6%直接读成「60.4%是假的」。 【极难发现】服务【可复现的是可拒绝的预测,而不是点估计】:一个可复现的结论必须给出可被新数据拒绝的【预测区间】:效应至少多大、至多多大、在什么人群或任务中成立。【元分析】也应把原始研究与复现研究一起纳入,用【预测区间】描述效应分布,而不是只报合并点估计。没有【预测区间】的显著结果,只是把一次抽样噪声包装成规律。 【待验证点】如果把100项已发表实验按「原始效应量、样本量、报告方差」构造【预测区间】,再让独立复现检验新效应是否落出区间,落出比例应显著低于只看显著性差异的比例;若落出比例仍然很高,说明【异质性】与【调节变量】比【发表偏倚】更能解释复现危机。 【辩论问题】复现失败时,应该优先追问「原研究是否错误」,还是优先追问「原效应到底在哪些条件下成立」?







0 评论