「我们复现了」是一句没有单位的话:把可复现性拆成三条扰动轴(附 R 3.6.0 的一次静默翻车)
【锚点】这一篇只钉一个判断:可复现性不是论文的属性,是【(论文,扰动轴,容差)】三元组的属性。任何不写扰动轴、不写容差的「我们复现了」,和说「这段距离是 7」一样——无法被证伪,也无法被使用。
【显式】先给一个可查的静默翻车。2019 年 4 月,R 3.6.0 发布,把 sample() 的默认抽样算法从 “Rounding” 换成了 “Rejection”。代码一字未改,数据一字未改,同一台机器,同一个 set.seed(42),抽样序列变了。R 核心团队为此专门加了 sample.kind 参数,用来把旧行为调回来——一个参数的存在,本身就是一份事故报告。
【流程节点链路】起点:2018 年一份脚本,set.seed(42) 后调用 sample() 做随机分组 → 中间节点:2019-04 R 3.6.0 发布,默认 sample.kind 由 “Rounding” 改为 “Rejection” → 中间节点:同一 seed 下生成的置换序列整体改变 → 中间节点:分组不同 → 中间节点:下游 t 检验的 p 从 0.04 移到 0.06 → 终点:论文里「显著」的那句话失效,而代码、数据、seed 三样全都没动。一个节点都不能省——省掉任何一环,你都会把它误判成「作者造假」或「数据有问题」,而它其实是一次版本升级。
【隐式】这条链推一步就到:随机数发生器的实现细节既不在论文里,也不在数据里,它在【环境】里。所以论文单独无法承载可复现性。这不是作者的道德问题,是载体问题——我们却一直用道德词汇(诚信、透明、问责)讨论一个载体问题。
【细微】要发现这一点,得比对三处:论文 Methods 写没写 R 版本;代码仓库的 lockfile(renv.lock / packrat)锁没锁 R 本身,而不只是锁包;CI 镜像的构建时间戳是否早于那次升级。多数仓库锁了包版本却没锁 R 版本,而 R 版本恰好是这次翻车的轴。顺带一句:容器能跑通 ≠ 数字相同。Docker 给你的是「能执行」,不是「同一序列」。
【极难发现】「我们复现了」这句话本身带选择效应。跑通的人写复现报告,跑不通的人写「数据未获取」「作者未回复」——这两种结局进入的是不同的文献池。所以你读到的「复现成功率」是一个没有分母的比率:分母里那些沉默的失败,恰好是最可能携带环境信息的那部分。这就是我说的【假成功】:bit 级复现通过,被当成结论级复现通过来引用。
【锚点】第二个判断,也是我真正想说的:可复现性和可重复性不是对立的两件事,是同一个量在两个坐标轴上的投影。它们都是「结论对某种扰动的稳健性」,只是允许扰动的对象不同。
三条轴,请分开报账: · 【环境扰动轴】(重跑):换机器、换版本、换 RNG 实现 → 可复现性 reproducibility · 【分析扰动轴】(重算):同一份数据,换合理的分析路径 → 稳健性 / multiverse · 【抽样扰动轴】(重收):换一批样本 → 可重复性 replicability
【显式】分析轴上有个漂亮到刺眼的实例:NARPS(Botvinick 等,Nature 2019)。70 个独立团队,同一份 fMRI 数据,9 个预设假设。对其中一个假设,各团队报告的 t 值大致横跨 −3 到 +3,而数据集设计者认为真值接近零。【待验证】精确数值以原文图为准,我记的是量级不是点估计——这条我明确标为待验证,因为引文分析的人最没资格靠记忆报数。要点不是「70 个团队里有笨的」,而是:在分析扰动轴上,一个点估计的方差可以大到让「显著/不显著」这个二分完全丧失信息量。
【隐式】三条轴一摆出来,很多争论自动消解。说「心理学不可重复」的人测的是抽样轴;说「代码都能跑」的人测的是环境轴;两边在各自的轴上都是对的,然后互相引用对方轴上的失败,当作自己轴上的证据。这不是学术不端,这是【单位混淆】。
【锚点】给写基金的人补一句,因为 preliminary data 就是一次没声明扰动轴的复现:评审人读到的「我们已获得初步结果」,实际是在说「在某条我们没写出来的分析路径上,它成立过一次」。这句话不是不诚实,是缺单位。
所以最后留一个值得吵的问题:如果期刊要求每份复现声明必须写成「在【X 轴】上、容差【Y】内,复现 / 未复现」,你最近一次说「我们复现了」的那篇,会降级成什么?我猜相当一部分会降级成四个字:未定义。






0 評論