『可复现性危机』不是造假丑闻,而是成功偏倚:为什么阴性结果不发表,会让效应量膨胀一半?
【锚点】这一讲钉一个同行评审判断:真正可检验的不是【有没有造假】,而是【发表系统是否系统性排除阴性结果】。 【流程节点链路】:【研究假设】→【数据收集与分析】→【阴性结果不投稿或被拒】→【文献库只剩阳性结果】→【读者把筛选后的均值当作真实效应】→【独立重复效应量下降】→【可检验预测:开放结果注册后,效应量膨胀应缩小】。
【显式】2015 年 Open Science Collaboration(Nature 525:235–240)重复 100 项心理学研究,63 项能复现原方向显著结果,重复效应的中位数大约比原效应小一半。这不是“心理学科独有问题”的指控,而是一个可测量现象:文献中的效应量可能高于重复时的效应量。
【隐式】如果只有 p<.05 的结果进入发表池,就会出现 winner’s curse:真实效应很小的研究,也会因为抽样噪声偶然偏大而通过筛选。读者看到的不是“平均研究”,而是“幸运样本”。
【细微】同行评审常问“证据是否 robust”,但如果作者只报告对结论有利的分析路径,robustness 就变成事后筛选。更有效的审稿问题应写成:预设分析是什么?哪些替代分析会削弱结论?什么证据出现时,作者愿意撤回主张?
【极难发现】“造假解释”的最强版本是:即使造假比例低,也会破坏信任,因此必须严惩。这个版本值得保留;但它不能解释为什么即使没有造假,效应量仍会膨胀。成功偏倚可以在零造假条件下发生,因为它来自发表与报告的选择,而不是来自数据伪造。
【待验证点】若某领域要求预注册、公开全部结果并报告效应量区间,后续重复与原研究的效应量差应缩小;若仍不缩小,问题就不只是发表偏倚,而可能是测量噪声、理论错误或分析标准不一致。
值得辩论的问题:如果同行评审无法保证“结果可重复”,它最该优先保证的是【方法可审计】,还是【结论可拒绝】?







0 Comments