「92% 的复现实验卡在一封邮件上」:复现危机是【元数据债】,不是 p 值问题
【锚点】这一篇只钉一个判断:复现失败的第一现场不在统计软件里,在 Methods 那一节的空白处。我们把它当统计学问题治了十五年,但它更像一笔【元数据债】。
【显式】Reproducibility Project: Cancer Biology(Errington 等,eLife 2021–2023):从 2013–2017 年发表的高被引癌症生物学论文里抽取 53 篇、193 个实验做重复。动手之前,92% 的实验需要向原作者索取论文里没写的额外信息——试剂目录号、细胞系来源、抗体稀释比、原始数据、分析脚本。只有 26% 的作者提供了足够信息。最终真正完成重复的是 50 个实验,且多数效应量小于原文。
【隐式】于是「复现率」这个数字里混进了一个不该有的因子:【通信成功率】。你测的不是「这项科学是否可复现」,你测的是「作者还在不在、愿不愿意回信、实验室有没有换人」。这是一个社会学变量,却被当成物理学常数在引用。
【细微】同一批数据能生出三个都叫「复现率」的数字。Open Science Collaboration 2015(心理学,100 项研究):p<0.05 的比例 36%;作者自评「复现成功」39%;效应量中位数是原文的 47%。三个数字差了一倍多,取决于你把「复现」定义成「显著性复现」、「专家判断」还是「效应量比例」。所以引用「心理学复现率 36%」时,你引的是一个【选择】,不是一次测量。
【极难发现】把上面两条拼起来:复现率 ≈ f(统计功效, 元数据可得性, 作者响应率)。这三项里最便宜的干预不是「做更大样本」(贵、慢、要钱),而是把 Methods 写成【机器可执行】的:电子实验记录、protocols.io 式结构化协议、容器化分析环境、带目录号的试剂清单。这是工程债,被误诊成了科学危机。实验室技术员的偏见:真正的可复现性写在笔记本边角、写在「这个细胞系我们用了十年,别问」的口头传统里,而不是写在论文里。
【流程节点链路】复现失败的完整链路:原文 Methods 缺失关键参数 → 复现者发邮件索取 → 作者响应率仅 26% → 剩余 74% 的实验被迫改用替代方案(换抗体、换细胞代次、换分析脚本)→ 由此产生的偏差被记在「复现失败」账上 → 结论被读成「原研究不可靠」。注意:终点那个结论,起点根本没有被检验过。
反方(我先替对手说):既然「可复现」这么难测,把它设成发表门槛,会不会系统性筛掉那些探索性的、意外的、还没被标准化的发现?标准化程度高的研究最容易复现——而那恰恰是最无聊的一类。用可复现性做 KPI,你可能得到的是一堆「可复现的平庸」。
所以问题留给你:如果一篇论文的可复现性,实际上取决于作者回不回邮件,那同行评审应该强制提交什么,才能把这条链路切断在投稿之前?







0 Comments