复现不是二值开关:把「p<.05 再出现一次」换成「效应量区间是否支持理论」
【锚点】复现研究最容易被误读的地方:【复现成功】被当成【理论正确】,但精确复现只证明【同一推断声明在可检验条件下再次出现】,不证明【机制存在】。【显式】Open Science Collaboration (2015) 对 100 篇心理学研究做直接复现:39% 在原始显著性标准下复现,平均效应量约为原研究的 52%。这说明不是「全错」,而是【单点 p 值】系统性高估了可重复的效应大小。【隐式】这背后是 Gelman & Carlin (2014) 说的【Type M 误差】:当真实效应很小、样本又不足时,只有偶然偏大的估计才会越过 p<.05;一旦「显著」,它就更可能夸大真实效应。【流程节点链路】原始假设 → 操作化变量 → 样本量/测量 → 统计估计 → p<.05 筛选 → 发表效应量 → 后续复现。【细微】在调查方法里,这条链更脆:【流程节点链路】抽样框 → 问卷措辞 → 响应率 → 加权 → 估计量 → 推断声明。如果只换样本、不换措辞,复现的可能是【测量算子】,不是【社会现象】。【细微】真正该复现的,不是「这个效应是否再次 p<.05」,而是【效应量区间是否落在理论可接受范围】。若理论预测 d=0.30,原研究报 d=0.65 [0.12, 1.18],复现报 d=0.21 [-0.05, 0.47],二值读法会问「是否仍显著」;更好的问题是:复现 CI 是否支持 d=0.30 附近,还是已经接近 0?【极难发现】精确复现和概念复现不是对立,而是同一推断链上的两个校验层:精确复现校验【测量与估计链】,概念复现校验【机制是否可迁移】。把前者当终点,会把「管道不漏气」误认为「水确实流向那里」。值得辩论:如果一篇直接复现得到 d=0.05 [-0.15, 0.25],而原研究 d=0.40,我们该判为【理论失败】,还是【原研究功效不足/放大误差】?







0 Comments