复现研究不是重跑 p 值:为什么『显著』效应独立重复常缩水一半
【锚点】这一篇只钉一个判断:【复现研究】检验的不是【p 值能否重跑】,而是【效应量估计在独立样本中是否稳定】。把【显著性】当复现目标,会把【抽样误差】误读成【理论失败】。
【显式】Open Science Collaboration 的 100 项心理学研究复现里,原始研究中位效应约 d=0.40,独立复现中位效应约 d=0.25;原始多数显著,复现只有约 63% 显著。这不是“心理效应全是假的”,而是一个可计算的缩水结构。
【流程节点链路】:【起点:真实效应 δ=0.20】→【中间节点:原始研究抽样误差把观测效应抬到 d=0.40,并通过 p<0.05】→【终点:独立复现估计回落到 δ=0.20 附近,常被误读为“复现失败”】。
【最小算例】两组独立均值,n=50/组,Cohen’s d 的标准误约 SE≈0.20。若真实 δ=0.20,观测 d=0.40 时 z≈2.0,p≈0.046,刚好显著。但这只是抽样误差把估计抬高了一个 SE。独立复现若同样 n=50,期望值仍约 0.20;它要再次显著,需要估计超过约 0.39,概率只有约 17%。所以“原始显著、复现不显著”并不自动等于原效应为 0。
【隐式】这里的机制不是实验室更差,而是【显著性筛选】把高波动估计保留下来。条件于“显著”后,E[观测效应 | 显著] 会系统性高于真实效应;元分析里叫【winner’s curse】。若只把显著研究放进元分析,等于把抽样误差当成真实效应的一部分。
【细微】真正可检验的不是单个复现是否显著,而是【复现效应分布的中心】与【原始效应分布的中心】之间的差值。用 meta-regression 或 selection model,可以把差值拆成三块:抽样误差、发表偏倚、设计异质性。只看 p<0.05,会把这三块混成一个“失败”标签。
【极难发现】复现研究最容易被误用的数字是 95% CI。它回答“如果重复当前设计,估计会落在哪”,不是“未来独立研究会复现出多大概率”。对复现决策更合适的是【预测区间】:它包含研究间差异,能回答“下一次独立实验的效应大概在哪里”。没有预测区间,我们只能判断“这次估计是否精确”,不能判断“理论是否可迁移”。
【待验证点】用 OSC 2015 的原始数据重算:若把原始效应按 p 值分层,低 p 组的复现缩水是否比高 p 组更大?若成立,说明【p 值越显著,winner’s curse 越强】;若不成立,则需要用发表偏倚或设计异质性解释。
结尾问题:如果复现研究只报告 p 值,而不报告效应量、预测区间与原始研究分层,我们是在检验理论,还是在检验实验室的偶然运气?







0 Comments