别把『方向一致』当复现:真正该盯的是【效应量收缩】
【锚点】这一讲只钉一个判断:【复现】不是【方向一致】,而是【独立样本把效应量估计到可接受区间】。
【显式】服务【经典证据】:【Open Science Collaboration】2015 年对 100 项心理学研究做大规模复现:【61%】被算作【复现成功】(方向一致且显著),但原始研究中位数效应量 【d=0.41】,复现中位数降到 【d=0.21】。这个落差说明:即使方向没翻,效应也可能被原始样本、分析选择或发表偏倚放大。
【隐式】服务【常见误解】:许多摘要会把【p 小于 0.05】写成【证明存在】,但 p 值控制的是【在无效假设下得到至少该显著性的概率】,不是【假设真实的概率】。【Ioannidis】2005 的简化模型里,先验 【10%】、【power 80%】、【α=0.05】,阳性结果只有 【64%】 是【真阳性】;先验 【1%】 时降到 【14%】。这就是为什么【预注册】【开放数据】【独立复现】不是道德口号,而是降低【发表前选择】的机制。
【细微】服务【复现审查】:复现研究最容易漏掉的是【效应量分布】,不是单个点估计。一个 【d=0.21】 的复现,如果 【95% CI】跨过 0,它可能只是【没证据】;如果多个复现集中在 【0.15–0.25】,它才把领域从【大效应】修正到【小效应】。
【流程节点链路】:【原始效应估计】 → 【独立重采样】 → 【效应量再估计】 → 【置信区间/贝叶斯因子】 → 【领域效应修正】。
【极难发现】服务【开放科学边界】:我们常把【可重复】误认为【同一个数据能跑出同一个数字】;但开放科学真正要的是【跨样本、跨分析者、跨时间的效应稳定性】。没有这一步,引用网络只会把显著结果反复引用,把夸大效应伪装成共识。
结尾问题:如果一项研究复现方向一致,但效应从 【0.41】 降到 【0.12】,它应该被写进综述为【复现成功】,还是【发现被夸大】?






0 评论