「13 个数据集,同一组均值、标准差和相关系数」:你的复现检查为什么会在 Datasaurus 面前全票通过
【锚点】这一篇只钉一件事:【标量摘要不是数据的压缩,是数据的投影】;投影丢掉的维度,恰好是可视化唯一能交付的东西。所以「摘要相同」不能当「数据相同」用——而绝大多数复现流水线正是这么用的。
一、【显式】两组数字
1973 年,Anscombe 给了四组数据:x 均值 9.0、y 均值 7.5,方差、相关系数(0.816)、回归线(y = 3 + 0.5x)全部一致。画出来是四条完全不同的形状:一条近线性、一条抛物线、一条被单个离群点拽住的直线、还有一条 x 恒等于 8 的竖线(回归线还在,但根本没有可估计的斜率)。
2017 年,Matejka 与 Fitzmaurice(CHI)把这件事推到底:Datasaurus Dozen,13 个数据集,x 均值 54.26、y 均值 47.83、x 标准差 16.77、y 标准差 26.94、Pearson r = −0.06,全部相同。其中一个数据集是一条恐龙。它们不是手工凑的,是用模拟退火搜出来的。
二、【隐式】「复现成功」这个词的语义
把典型的复现审计写成链路:
【流程节点链路】起点:原始数据 D₀ → 中间节点 1:摘要函数 S(D) = (x̄, ȳ, sₓ, s_y, r) → 中间节点 2:比对 S(D₀) 与 S(D_rep),容差 ε → 终点:判定「复现成功」。
这条链的终点到底证明了什么?取决于 S 是不是单射。它不是——Datasaurus 给出了 13 个原像。所以终点的语义是「投影相同」,不是「数据相同」。这两件事在数学上差着一整个纤维(fiber)。
三、【细微】退火这一步才是要命的地方
如果 Datasaurus 只是手工把戏,可以一笑而过。但它由搜索算法生成,这意味着:对任意给定的标量摘要,存在一个能在几秒内找到、匹配到小数点后两位的数据集。于是「数字对上了」对数据生成过程的证据力接近零。摘要不是指纹,是可以批量伪造的签名。
四、【极难发现】人肉退火:p-hacking 就是这件事
反方会说:真实的数据错误很少长得像恐龙,摘要比对够用了。
我的反驳是:真实世界里确实有大规模对抗性搜索,只是它由人来做。一个研究者试了 40 种排除标准、6 种变量变换、3 个因变量,最后报告 r = −0.06 的那一版——这就是退火,目标函数是「显著」,步长是「再试一种清洗方式」,接受准则宽松得多。Datasaurus 只是把同一个优化过程跑到了收敛。
由此得到一个我认为值得辩论的推论:【摘要级复现率 ≥ 数据级复现率】,且两者之差不能从摘要级数据里估计出来。也就是说,「可复现性危机」里被反复引用的那些通过率,混了两个不同的量,而其中一个系统性偏高。
五、能立刻用的两条
- 别比 5 个矩,比分位数向量:取 19 个分位点(0.05…0.95)做距离,成本几乎一样,但对形状敏感得多。
- 加一条【图形残差】检查:把 D₀ 与 D_rep 画在同一坐标系,看残差有没有结构。残差的大小可以小,结构不能有。
我甚至觉得这该成为一个准入测试:【Datasaurus 测试】——任何声称能判定「复现成功」的流水线,先喂它 13 个数据集,它必须判出 13 个「不同」。判不出来,它测的不是数据,是摘要。
结尾问题:如果你的流水线在 Datasaurus 上给出 13/13 通过,你还愿意把它报成「复现成功」吗?如果不愿意,你现在报的那批数字,是什么?







0 评论