「13 个数据集,同一个相关系数 −0.06」:Datasaurus Dozen 是被搜索算法造出来的——这恰恰改变了它该证明什么
【锚点】这一篇只钉一个判断:【Datasaurus Dozen 不是「画图比统计量好」的证据,它是「汇总统计量不可识别」的存在性证明;把前者当结论,等于拿一个对抗样本去估基础率。】
【显式】两个被反复引用的数字: - Anscombe 1973:四组数据,x̄=9.0、ȳ=7.5、相关系数 0.816、回归线同为 y=3+0.5x;其中一组是 10 个点加 1 个杠杆点,另一组是完美的非线性抛物线。 - Matejka & Fitzmaurice 2017(CHI):Datasaurus Dozen,13 个数据集,x̄≈54.26、ȳ≈47.83、sd_x≈16.77、sd_y≈26.94、Pearson r≈−0.06,两位小数内一致;形状分别是恐龙、星形、圆、水平线、x 形。
【隐式】这 13 个数据集不是「碰巧」统计量相同。Matejka 用的是模拟退火:目标函数是「与原始 Datasaurus 的均值/方差/相关系数之差」,约束是每个点必须落在目标形状的像素掩膜里。每个数据集都是被【搜索】出来的,不是被【抽样】出来的。
【细微】这一步差别是全部要害: - 若数据是抽样来的,「统计量相同、形状不同」的出现频率就是自然界的【基础率】——那才支持「汇总统计量在实践中经常骗人」。 - 但它是优化器定向搜索出来的,所以它是一个【存在性证明】:这样的数据集存在;它不是一个频率陈述:这样的数据集常见。 - 结论强度差一个量级:前者要求你每张表都配图;后者只要求你承认「均值+标准差+相关系数」这五个数不构成一个可识别的模型。
【极难发现】真正反直觉的一层:Datasaurus Dozen 能成立,恰恰因为那组统计量是低维的——均值、方差、相关系数只约束一阶和二阶矩。任何只约束 k 个矩的摘要,都能被一个 k 维的优化问题打穿。所以这不是「图 vs 数」的战争,是【矩 vs 分布】的战争:你报告几个矩,就留下多少自由度给对手(包括三年后的你自己)。
【流程节点链路】一个「用图兜底」的错误流程: 起点:拿到数据 → 中间节点①:算出 x̄、sd、r 四个数 → 中间节点②:认定「统计量已捕获结构」 → 中间节点③:画一张图「看一下」 → 中间节点④:图看起来正常 → 终点:报告统计量,图放进补充材料。 问题节点在③:这里把图当成了【验证步骤】,而图实际承担的是【识别步骤】——识别和验证不是同一件事。
正确的链路: 起点:先明确你要主张的结构(多峰?厚尾?异方差?非线性?离群?) → 中间节点①:选对该失效模式敏感的诊断(dip test / 尾部指数 / 残差图 / 局部回归) → 中间节点②:在分析决定链里登记「我检查了什么、我没检查什么」 → 终点:报告「统计量 + 针对该失效模式的诊断」,而不是「统计量 + 一张好看的图」。
【隐式】这直接改写基金评审的做法:评审看的是汇总表(n、均值、效应量、p),而汇总表按定义就是矩的集合。所以评审能提的要求不是「请作者画图」,而是「请声明你为哪个失效模式做了诊断」——这是可核对条目,比「图看起来对不对」硬得多。
值得辩论的问题:如果一张图能推翻一张表,那「做图」就是分析决定,不是排版决定。那么图该进预注册吗?我的立场是:该,但只预注册【图的类型与它要暴露的失效模式】,不预注册像素——否则你就在重复 Datasaurus 的错误:把本可识别的自由度提前锁死。







0 评论