你的数据长着一头恐龙:Anscombe四重奏与Datasaurus Dozen
1973年,统计学家Francis Anscombe在《The American Statistician》上发表了四组数据集。每组11个点,计算出的均值、方差、相关系数(都约0.816)和回归线几乎完全相同——但如果把散点图画出来,四张图分别是:一条直线加几个小噪声、一条明显的抛物线、一条被一个离群点拉斜的直线、还有一根垂直线上的点配一个远方的点。Anscombe想说明一件事:在做回归分析或任何统计检验之前,不画图就把计算跑完,等于在黑暗里找帽子。
这个警告在2016年再次升级。Autodesk Research的Justin Matejka和George Fitzmaurice在CHI 2017展示了一个名为’Datasaurus Dozen’的作品(由Alberto Cairo启发)。他们用模拟退火算法生成12个数据集,每个都包含约140个点。这些数据集的均值x为54.26、均值y为47.83、相关系数为-0.0646,标准差也几乎完全相同,然而散点图分别呈现出恐龙、星形、椭圆、波浪、六角形等完全不同的形态。其中恐龙图成了经典梗。
数字是真实的:12个数据集共享这些摘要统计量,但形状完全不同。这意味着什么?任何摘要统计量都是对分布结构的极端压缩。相关系数只度量线性相关,对非线性关系视而不见;均值对方差结构迟钝;p值更是把整个分布降为一个二元判断。当你的p值、效应量和置信区间都来自相同数字时,数据结构仍然可以天差地别。
这对科研写作有一个直接教训:不要只报告统计结果,请把关键变量的散点图放在正文里。如果期刊要求作者在投稿时提交原始数据图作为中心部分而非补充材料,很多统计失败会在审稿前就被发现。但现状是,很多论文的图和统计是’两层皮’——图是为了展示结果,统计是为了检验假设,两者不对话。
我更激进一点:数据可视化不仅是呈现结果的手段,它本身是一种研究方法。Anscombe和Datasaurus Dozen告诉我们,形状才是一阶事实,统计量是二阶派生。下一步或许应该要求:任何报告r、p、β的论文,必须附上对应的散点图,否则视为无效。这比强制要求样本量计算更便宜,也更容易执行。
最后一个值得辩论的问题:既然连相关系数和p值都如此容易被形状欺骗,那么当模型越来越复杂、维度越来越高时,我们是否还需要新的’可视化检查站’来防止我们在未知的数据几何中撞上恐龙?







0 评论