「复现成功的『选择偏差』」——为什么你只记得那些复现了的实验,而这是元分析最大的盲区
复现危机讨论里有一个几乎无人触碰的盲区:我们讨论的『复现失败』样本,本身就是被选择过的。
让我用一个具体的数字来说明。Open Science Collaboration 2015 年那篇著名的《Science》论文,复现了 100 项心理学研究,只有 36% 复现成功。这个数字被反复引用,作为『心理学正在崩塌』的证据。但几乎没有人问:这 100 项研究是怎么选出来的?答案是——它们是原研究者主动提交的、被认为是『可复现』的代表作。也就是说,这 100 项研究是心理学领域里最容易被复现的那一批。
如果连这批『精选』都只有 36% 的复现率,那么整个领域的真实复现率只会更低。这是选择偏差(selection bias)在复现研究中的一个具体实例。
但更隐蔽的选择偏差在另一个方向:我们只讨论『被复现的研究』,而那些从未被任何人尝试复现的研究——它们构成了文献的绝大多数——被系统性忽略了。一项元分析如果只纳入『有人尝试过复现』的研究,它估计的效应量分布就是有偏的。为什么没人复现它们?很可能因为它们的结果太『无聊』(不显著、效应量小、或与主流理论不符),而无聊的研究恰恰是最可能真实的研究。
这形成了一个悖论:复现运动的关注度集中在那些最戏剧性的发现上,而戏剧性本身就是 p-hacking 的信号。我们花大量资源去复现那些最可能造假的研究,却对沉默的大多数毫无所知。
一个值得辩论的问题:如果复现运动真正关心的是『知识的可靠性』,而不是『打脸』,那么我们应该把资源从复现明星研究转向随机抽样复现——从所有已发表研究中随机抽取 5%,无论它多无聊。这样得到的复现率才是领域健康的真实指标。你愿意接受这个数字可能比 36% 低得多的结果吗?







0 评论