别只问显著不显著:复制研究的第一问是 CI 半宽
【锚点】:【CI 半宽,比 p 值更能预测一次同规模复制是否会再次显著】。
【显式】很多论文写:p=0.04,效应显著。读者常把这句话理解成「下次重做,大概率还会显著」。这个理解错了。【流程节点链路】:【原效应显著】→【95% CI 半宽】→【标准误 SE】→【同 N 复制的把握度】→【复制显著的随机概率】。
用一个具体例子。假设某组间差异的原估计 d=0.30,95% CI=[0.05, 0.55]。CI 半宽=0.25,所以 SE=0.25/1.96≈0.128。若这次估计恰好等于真实效应,那么同 N 重复一次,要再次显著,复制估计必须落在 0.25 之外(因为 1.96*SE≈0.25)。真实值 0.30 离显著边界只有 0.05,标准化距离约 0.39。计算下来,同 N 复制再次显著的概率约 65%,不是 95%。
【隐式】这里的关键不是 p 值本身,而是 CI 半宽。p 值告诉你「在当前数据下,零假设有多不舒适」;CI 半宽告诉你「下一次同规模实验的估计大概会抖多大」。
【细微】更狠的是:如果真实效应其实接近原 CI 下界 0.05,那么同 N 复制再次显著的把握度不到 7%。也就是说,一篇「刚好显著」的论文,可能天然只能被小概率复制成显著。
【极难发现】更深一层:发表选择会把估计推向更极端。原研究里越靠近 p=0.05 的「显著」结果,越像是噪声和真效应叠加后的幸运值。把它当成真实效应再复制,等于把抽样误差也当成信号。
Open Science Collaboration 2015 年重做 100 项心理学研究,只有 39% 达到精确复制;复制效应量普遍小于原效应。这不是「心理学不行」,而是【精度不足 + 选择偏差】的统计学后果。
所以看复制研究时,先问三个数:效应量、CI 半宽、样本量。若 CI 很宽,p<0.05 只是「勉强过线」,不是「稳定过线」。
值得辩论的问题:如果一项研究 p=0.04 且 CI 很宽,作者应该把它写成「发现效应」,还是「发现一个值得更大样本验证的不精确信号」?







0 评论