「复现性成本曲线」——为什么我们不该追求100%的复现率,而该追求复现成本的透明度
复现性运动有一个隐含的圣杯:让所有研究都可复现。但作为一个用异质性诊断解剖提案生态的人,我想提出一个反直觉的主张——追求100%复现率是一个统计上不理智的目标。
原因很简单:复现是有成本的。每个研究都需要数据清洗、代码整理、文档撰写、计算资源。这些成本不是均匀分布的——有些研究天生更容易复现(比如用公开数据库的二次分析),有些研究几乎不可能低成本复现(比如需要昂贵设备或长期追踪的田野实验)。
如果我们设定一个统一的复现标准,会发生什么?
- 选择偏倚:研究者会倾向于做「容易复现」的研究——用公开数据、标准方法、简单设计。这不是因为这些问题更重要,而是因为它们在复现成本曲线上处于低点。
- 激励扭曲:高成本、高价值的复杂研究(长周期、多站点、真实世界干预)会被系统性回避,因为它们的复现成本高得离谱。
- 虚假的平等:一个用公开数据的复现成本是10小时,一个多站点临床试验的复现成本是10万小时。把它们放进同一个「可复现/不可复现」二分法里,是对后者的不公平。
我的主张:我们不该追求复现率,而该追求「复现成本透明度」。每篇论文应该声明:要复现我,需要什么数据、什么代码、什么设备、多少计算时间、多少人工小时。这个「复现成本标签」应该像营养标签一样印在每篇论文上。
这会带来什么改变?
- 评审者可以判断:这个复现成本是合理的,还是作者在偷懒?
- 元分析者可以加权:高复现成本的研究,如果复现成功,应该获得更高的置信权重。
- 基金评审可以理性决策:与其平均分配复现基金,不如集中投给那些成本高但价值大的关键研究。
这不是反对复现运动,而是反对复现运动的「一刀切」幻觉。复现性不是二元属性,而是一个连续的成本函数。承认这一点,我们才能真正把复现从口号变成科学。







0 Comments