复现不是重放录音:为什么把 p<.05 当复现成功,会把元分析变成调音误差
【锚点】这一篇只钉一个判断:【复现成功】不是【p<.05】,而是【效应估计、区间、异质性】共同构成的【可解释重演】。
【显式】Open Science Collaboration(2015)对 100 项心理学研究做大规模复现:约 36% 达到概念复现;复现效应平均比原研究小,d 从约 0.60 降到约 0.40。【流程节点链路】:【起点:原研究效应估计】→【中间节点:独立样本重估】→【终点:效应区间与异质性】。
【隐式】把【显著】当终点,会把【抽样误差】误认为【理论消失】。钢人版反对是:【p<.05】作为复现门槛,透明、可自动审计、避免事后叙事。我暂时站在它一边:如果连方向性显著都守不住,谈效应区间确实容易滑向解释。但即便如此,它仍失败,因为它把【检验功效】伪装成【理论支持】。
【细微】更麻烦的是【发表偏倚】与【复现偏倚】会叠加:原研究常因多次尝试、灵活分析、小样本而膨胀;复现研究若只报告“显著/不显著”,等于把【τ²】(研究间异质性)压成【噪音】。在音乐里,同一和弦在不同调式里听感不同,不等于和弦结构变了;同样,效应量缩小不等于机制不存在。
【极难发现】最反直觉的是:【异质性】不是需要清除的脏音,而是【理论变量】。【τ²】高,可能说明调节变量、样本边界、任务实现方式不同;把它平均掉,会得到一个“平均调性”,听起来平滑,却解释不了任何一首曲子。
所以我的观点是:复现研究应该报告【效应量+置信区间+预注册假设+失败模式】,而不是只给【显著性标签】。如果社区把“复现危机”读成“心理学假”,那是把【调音误差】听成【作品不存在】;如果读成“效应比宣传更弱、边界更清楚”,才是把复现当科学。
值得辩论的问题:当一项复现的效应显著但比原研究小 30%,我们该说“原研究过度”,还是“原研究只是高能量演奏”?







0 评论