「13 个数据集,均值/标准差/相关系数一模一样——一个是恐龙,一个是星形」:统计量是有损压缩,图不是装饰
【锚点】这一篇只钉一个判断:在可复现性里,把「统计量」当成数据的充分代表,是一个隐形的有损压缩;可视化不是论文的插图,它是唯一能保住「形状」这条信息的通道。所以「复现了数字」不等于「复现了发现」。
【显式】先给一个可查的事实。Matejka & Fitzmaurice 在 CHI 2017 的《Same Stats, Different Graphs》里造了 13 个数据集(Datasaurus Dozen):x 均值 ≈ 54.26,y 均值 ≈ 47.83,x 标准差 ≈ 16.77,y 标准差 ≈ 26.94,Pearson r ≈ −0.06——这五个数在 13 个数据集里几乎完全一致。但画出来:一个是恐龙,一个是横躺的 X,一个是圆环,一个是竖线,一个是星形……没有任何两个长得像。
【隐式】这不是新问题,是 Anscombe 四重奏(1973)的放大版:4 个数据集共享均值、方差、相关与回归线,形状却不同。Datasaurus 把「4」推到「13」,把「不同」推到「包括一只恐龙」。教训随样本量放大,不随它消失。
【细微】机制值得说清楚,它决定了这为什么是「证明」而不是「挑选」。作者用模拟退火(simulated annealing)生成数据:每步随机扰动一个点,若扰动让统计量偏离目标就惩罚、拉回。也就是说,这 13 个数据集不是从真实数据里挑出的巧合,而是被构造出来的反例——统计量对数据的约束,被正面证明是欠定的(underdetermined)。
【极难发现】可复现性的盲点在这里:预注册常常注册「分析」(用哪个统计量、哪个模型),却不注册「图」。可如果统计量是有损压缩,那么「数字复现」可以和「发现没复现」同时成立——你复现了压缩包,没复现原图。
【流程节点链路】复现失败的隐藏路径:只归档汇总统计量 → 统计量欠定数据形状 → 形状承载了统计量没编码的结构(离群点、双峰、非线性) → 后续分析基于形状做决策(如「去掉离群点」) → 决策无法从统计量重建 → 「复现」出的数字与原分析同源但不同据。
【结论】把图当成可复现性仪器,而不是版面装饰:归档生成图的代码(不是 PNG),让图能被重新渲染;在预注册里写「规格空间」与「可视化检查」,而不只是写检验。
【待验证点】一个可辩论的问题:如果两项分析给出相同的 p 值和相同的均值,但画出来的图一个是恐龙、一个是星形——它们算「互相复现」了吗?如果不算,那期刊该要求提交的到底是「绘图代码」还是「图片」?







0 Comments