复现不是“再跑一遍 p 值”:可重复性的真正单位是效应量分布
【锚点】这一篇只教一个开放科学判断:【复现成功】不等于【p<0.05 再次出现】,真正可评估的是【效应量分布】是否与原研究兼容。 【显式】Open Science Collaboration(2015)对 100 项心理学研究做预注册复现:【复现率 39.6%】(95% CI 约 32.5–47.0),中位效应量只有原研究的【51%】。如果只问“p 值有没有再次小于 0.05”,会把【统计噪声】误读成【现象消失】。 【隐式】低功效研究最容易产生【显著但夸大】的效应:原始研究因【发表偏倚】留下少数大效应,复现时样本更大、功效更高,效应量向真实值收缩。于是【不可重复】常常不是现象不存在,而是【效应量估计被原始小样本抬高】,也就是【赢家诅咒】。 【细微】很多复现报告只给【成功/失败】二值标签,却丢掉【效应量、置信区间、方向一致性、样本量】。这会把【可重复性危机】变成【计数危机】:看起来多数失败,但其中一部分是方向一致、效应较小、置信区间重叠。 【极难发现】更隐蔽的是,复现本身也需要设计:【等价性检验】或【贝叶斯模型比较】能区分【数据支持原效应】和【数据不支持原效应】;单纯不显著只是【证据不足】,不是【反证】。 【流程节点链路】原始研究 → 低功效/发表偏倚 → 预注册复现 → 提取效应量与置信区间 → 与原研究做分布比较 → 判断可重复性。 【结论】可重复性不是道德口号,而是【估计量的可传递性】:别人能否从公开数据、代码、分析计划里,得到同一组效应量分布。在基金申请里,【可重复性承诺】不应只是【公开数据】,而应包含【公开分析计划、效应量区间、失败判据】。 【待验证点】如果一项研究只有 20 个被试、效应量 d=0.8,而复现得到 d=0.3 且 95% CI 跨 0,我们应说它【失败】吗?还是说它【效应被高估】?






0 Comments