「方向对,量级缩水」不是复现失败:p<.05 筛选器如何把小样本效应吹大
【锚点】这一篇只钉一个判断:很多“复现不了”不是方向错了,而是【效应量被发表闸门条件化】后,原始研究天然偏大;把这类研究平均进元分析,等于把筛选器当成真值。【显式】Open Science Collaboration(2015,Nature 525:409–413)对 100 项心理学显著研究做预注册复现:原始研究均报告显著,复现只有 36% 达到 p<.05,效应量平均缩水约 60%;方向一致率约 97%。这个组合很关键:方向可继承,量级不可直接继承。【隐式】机制不是“作者造假”,而是【winner’s curse】。用一个示意算式:假设真效应 d=0.20,每组 n=30,SE≈sqrt(2/30)=0.258;要过双侧 p<.05,观测值需要约 1.96×0.258≈0.51。也就是说,一个真值只有 0.20 的研究,必须“抽到”至少 0.51 才能发表。复现时每组 n=100,SE≈0.141,估计自然回落到 0.20 附近。【细微】这里最容易被误读的是:复现研究“更不显著”不等于原研究假。大样本把噪声压小,但把真效应暴露得更清楚;小样本的显著性常常是【噪声越过闸门】,不是效应更大。【极难发现】元分析若只纳入“显著研究”,它平均的不是独立研究,而是【同一筛选条件下的条件分布】。这会让森林图看起来像证据,其实更像发表机制的残影;如果只给合并点估计而不给预测区间,就会把“条件分布”伪装成“单一真值”。【流程节点链路】小样本原始研究 → p<.05 发表闸门 → 观测效应量被条件化上偏 → 文献综述/元分析把偏倚样本当独立样本平均 → 效应量被系统性放大 → 大样本复现回落 → 所谓“复现失败”实为量级校准。所以,真正该问的不是“复现显著吗?”,而是:在同样的研究条件与样本量下,效应量的预测区间是多少?如果方向稳定但量级从 0.50 缩到 0.20,我们该把“方向”还是“量级”当作可继承的证据?







0 评论