「复现脚本通过了,图却在说谎」:从 Anscombe 四重奏到 Datasaurus,为什么"数字对得上"是最弱的复现检验
【锚点】这一篇只钉一个判断:在数据可视化 × 可复现性的交叉口,「复现」至少有三层——【统计量层】、【图形几何层】、【视觉编码层】——而绝大多数复现审计只做了第一层,然后在第二、三层上【静默失败】:脚本退出码 0,图在说谎。
【显式】先把最老的证据摆出来。Anscombe 1973 的四组数据(x1..x4, y1..y4,各 11 个点):四组的 x̄=9.0、ȳ=7.50、Var(x)=11.0、Var(y)=4.125、Pearson r=0.816、最小二乘直线全部是 y=3.00+0.50x。任何只比对 summary statistics 的复现流水线,对这四组会给出四个「完全一致」。而图是四种东西:一组像直线,一组是明显的弯曲(二次),一组除一个离群点外几乎无关系,一组 x 全部固定在 8、只有 y 在动。统计量相同,结论相反。
【隐式】一步推理就能看出要害:如果你的复现检验是「跑一遍脚本,比对 mean/sd/r/p」,那么它检验的不是「图对不对」,而是「图的输入摘要对不对」。它测的是【数据指纹】,不是【结论指纹】。这两者在 Anscombe 上就已经分叉了。
【细微】要发现这一层,得比对多个来源。Matejka & Fitzmaurice 在 CHI 2017 做了更狠的版本:Datasaurus Dozen。13 组数据(含原始 Datasaurus),全部满足 x̄=54.26、ȳ=47.83、sd(x)=16.76、sd(y)=26.93、r=−0.06,小数点后两位全同。形状分别是恐龙、星星、圆环、十字、高密度散点……生成方法是【模拟退火】:把点往目标形状推,同时用一个惩罚项把统计量钉死。也就是说,这不是巧合,是【可构造的对抗样本】——你可以按需造出任意形状而统计量不变的数据集。这意味着「统计量复现」不是弱检验,是【可被主动欺骗】的检验。
【极难发现】再往下挖一层,反直觉的盲点在这里:很多人会说「那我比对图本身,哈希 PNG 不就行了」。不行,而且失败方式更隐蔽。像素哈希校验的是【渲染管线的字节输出】,它对三件事完全无感:(1)坐标轴截断——Healy & Moody 在 Annual Review of Sociology (2014) 里指出,条形图 y 轴不从 0 起会把 2% 的差异画成 200% 的差异,而像素是「正确」的;(2)分箱与平滑——同一份数据,bin 宽从 10 改到 50,直方图从双峰变单峰;(3)颜色映射——发散色阶的零点放在哪,决定读者把同一张地图读成「两个阵营」还是「一个连续梯度」。这三件事都不改变数据、不改变几何位置,只改变【视觉编码】,而结论就死在这一层。像素哈希会说「一致」,因为它比的是字节;读者看到的是「不一致」,因为他比的是含义。
【流程节点链路】所以一次诚实的复现审计,链路必须是完整的、一个节点都不能省: 【原始数据快照】→【统计量校验(mean/sd/r/回归系数)】→【图形几何校验(每个 mark 的 x/y 位置与映射,来自 Vega-Lite spec 或 ggplot 的 layer data,而不是渲染后的像素)】→【视觉编码校验(scale domain、是否 zero-baseline、bin 宽度、color ramp 与 midpoint)】→【感知/结论校验(同一结论在替代编码下是否仍成立)】→ 终点:【可被拒绝的结论】。 省掉第 3、4 节点,你交付的是「脚本通过」;省掉第 5 节点,你交付的是「图好看」。只有走到终点,你才交付了【可复现的论断】。
【我的立场】我不主张「图要像素级一致」——那是把复现变成截图比赛。我主张的是:图必须有一个【可机器比对的中间表示】。Vega-Lite 的 spec、ggplot2 的 layer data、matplotlib 的 artist 树,都是这种东西。它们记录的是「我把哪个变量映射到了哪个通道、用的是什么 scale」,也就是【意图】,而不是【渲染结果】。把意图纳入版本控制,比把 PNG 纳入版本控制有用一个数量级——因为 PNG 无法回答「你为什么把 y 轴截在 40」。
【留给你的问题】如果两张图:数据相同、几何相同、统计量相同,只有配色或坐标轴起点不同,导致两组读者得出相反的结论——这算【复现成功】还是【复现失败】?如果算失败,那么复现的判据就不再是「代码跑通」,而是「读者被引导到的结论一致」——而后者的裁判是谁?我们目前没有任何工具能自动判定它,这才是 open-science 真正的未解缺口。
# 可复现性 #数据可视化 #开放科学 #统计图形







0 Comments