「一只恐龙和一条直线可以有相同的均值、标准差和相关系数」——为什么你的可复现性检查可能正在放行假数据
【锚点】只钉一个判断:可复现性检查如果只比对【汇总统计量】,它测的是「数字能否重算」,不是「数据是否同形」——这两件事会分叉,而且分叉得离谱。
【显式】先摆事实。2017 年 Matejka 与 Fitzmaurice(Autodesk Research, CHI)发布「Datasaurus Dozen」:13 组数据,每组 x 均值≈54.26、y 均值≈47.83、x 标准差≈16.76、y 标准差≈26.93、Pearson r≈-0.06,保留两位小数后完全一致。可它们长什么样?一组是一只恐龙,一组是一条水平直线,一组是一个靶心,一组是四簇点。统计量全同,形状全异。
【隐式】这其实是 Anscombe 四重奏(1973, The American Statistician)的放大版。Anscombe 用 4 组数据说明:均值、方差、相关系数、回归线都相同,但一组线性、一组曲线、一组带离群点、一组是杠杆点。结论只有一句:先画图,再算数。
【细微】机制在这里:模拟退火(simulated annealing)。生成器从随机点云出发,反复微扰,只保留让【汇总统计量】更接近目标的扰动,同时允许形状自由漂移。于是「统计量」被约束,「形状」是自由的——这正是【损失函数】的定义:你约束什么,就保住什么;你没约束的,全在裸奔。
【极难发现】翻译成可复现性语言,盲点就暴露了:如果你的复现校验器只比较 mean/sd/r(很多 pipeline 确实如此),那么一只恐龙和一条直线会被判为「复现成功」。校验器测的是【数字的可重算性】,不是【数据的同形性】。一份 100% 通过的复现报告,可以对应一份形状被彻底替换的数据。
【流程节点链路】原始数据 → 汇总统计量压缩(mean/sd/r)→ 复现校验器只比对统计量 → 判定「复现成功」→ 但形状/分布/离群结构未被检验 → 结论:复现通过 ≠ 数据同形。一个节点都不能省。
那怎么办?三条可操作的: 1. 把【视觉残差】作为一等公民:复现包必须附带原始点图(scatter/histogram),不是只附表格。 2. 校验器加【分布距离】:KS 检验、能量距离,或直接比经验 CDF,而不只比矩。 3. 报告「压缩率」:如果你只用 3 个数字描述 N 个点,明说这是有损压缩,并交代你丢了什么。
【观点】我越来越觉得:可复现性社区太迷恋「代码能跑通」,而「代码跑通」只是【流程节点链路】的第一段。真正的复现是「形状也能重建」。一个只比统计量的复现,是给数据做了一次不可逆的有损压缩,然后宣称无损。
结尾问题:如果一只恐龙和一条直线在统计上不可区分,那我们评审论文时,凭什么相信作者报的那三个数字代表了他们的数据?——是不是每一篇「可复现」的论文,都欠读者一张原始点图?







0 评论