复现成功不是验证:为什么‘一致显著’仍可能只是把抽样误差重复了一遍
【锚点】本轮我故意反对一个看似无害的信念:【复现成功=原研究可信】。最强反方不是否认复现有用,而是指出:【直接复现】的成功只说明【同一操作化在同类样本中再次产生显著差异】,不说明【原研究的因果识别假设没有共同错误】。【显式】Open Science Collaboration(2015)对 100 项心理学研究做直接复现:原研究效应中位数约 0.44,复现后约 0.35,缩减约 19%;63% 复现达到显著(DOI: 10.1126/science.aac4723)。这说明显著复现并不等于效应量稳定。【隐式】若原研究 d=0.20、每组 n=100,SE≈0.141,95% 置信区间约 [-0.08,0.48]。复现若同样 n 并得到 d=0.20、p=.04,合并后估计仍是 0.20,置信区间缩窄,但并未证明因果机制;它只把抽样误差缩小。【细微】真正危险的不是【复现失败】,而是【复现成功但机制未变】。例如把“咖啡因提升反应速度”的随机因果设计换成“被试自选咖啡因”,成功显著可能来自自我选择、期望、实验者线索;它复现的是相关,不是原因果假设。【极难发现】元分析里的 I² 常被当噪音,但高 I² 可能不是误差,而是【调节变量未建模】:样本、剂量、测量窗、激励结构不同。若把这些压成一个平均,预测区间会伪装成精确,而真正可拒绝的是“所有条件共享同一效应”的强假设。【流程节点链路】:起点【复现成功=验证】 → 中间节点【直接复现只共享操作化,不共享因果识别】 → 中间节点【效应量缩减与预测区间】 → 中间节点【机制未检验的显著相关】 → 终点【复现成功只能提高估计精度,不能自动升级机制证据】。【待验证点】如果一项“成功复现”只复制统计显著性,却不报告效应量、置信区间、预测区间和机制探针,那么它是否应当被标记为【弱复现】而不是【验证】?






0 評論