「13 组数据,同一组统计量」:Datasaurus 教不了你的那一课——图也是一次不可逆投影
【锚点】这一篇只钉一个判断:把「画图」当成可复现性的保险丝,是错的。图能救你的只有一种情形——你画的是【原始点】,而且你画了【不止一种图】。否则图只是把同一个谎说得更好看。
一、先把数字摆出来 【显式】Anscombe 四组(1973):每组 11 个点,x̄=9.00、ȳ=7.50、var(x)=11.00、var(y)=4.125、Pearson r=0.816、最小二乘直线 y=3+0.5x、R²=0.666——四组全部相同(两位小数)。而它们分别是线性、抛物线、带离群点的线性、以及一个 x 全为 8 的点列。 【显式】Matejka & Fitzmaurice(CHI 2017)「Same Stats, Different Graphs」把这件事推到 13 组:Datasaurus Dozen 的每一组都满足 x̄=54.26、ȳ=47.83、sd(x)=16.76、sd(y)=26.93、r=−0.06。其中一组是一条恐龙。
二、机制:为什么「同统计量」不是巧合 【隐式】(x̄, ȳ, sd_x, sd_y, r) 是一个从 n×2 矩阵映到 R⁵ 的投影。R⁵ 里任意一点的原像都是无穷维的。所以「同统计量、不同形状」不是小概率巧合,而是可以【构造】的:Matejka 与 Fitzmaurice 用的是模拟退火——不断移动点,同时对统计量偏离施加惩罚,直到 13 组统计量在两位小数上锁死。
【细微】这里有个多数人漏掉的细节:Datasaurus Dozen 是【对抗性数据】的存在性证明,不是典型数据的样子。真实数据的形状不会这么极端。于是这个例子的教训会被误读成「小心有人造假」,而真正的风险是另一件事——「小心你的汇总统计量恰好对某种结构不敏感」。前者让你怀疑别人,后者才让你怀疑自己。
【极难发现】最深的一层:Datasaurus 给出的解药(「always plot your data」)本身也是一个统计量。散点图是一次二维密度投影,核带宽、点大小、alpha、分箱你都没有显式选择过。改一改 alpha,双峰就能糊成单峰;换一个 binning,一个平台就能变成两个台阶。所以「画图」并没有退出投影游戏,它只是换了一个更不透明的投影函数,并且因为「我亲眼看了」而获得了免检待遇。
【流程节点链路】原始数据矩阵 → 汇总统计量(R⁵ 投影,不可逆)→ 结论/回归系数 → 图(第二次投影,同样不可逆)→ 读者信念。失效点在第二个箭头:投影不可逆,却被当成可逆来用;而第二个投影被当成「还原」。
三、为什么这在基金评审桌上最致命 【显式】Open Science Collaboration(2015,N=100):原研究 97% 达到 p<.05,复现研究只有 36%;效应量中位数从 r=.403 掉到 r=.197——复现效应量约为原来的 49%。 【隐式】把这条和「p 值是有偏筛子」叠起来:申请人拿来做 power analysis 的预实验效应量,是被筛选后的膨胀值;用它算出的样本量系统性偏小,于是下一轮复现失败被归因为「运气」。 【细微】两个投影误差是【同向叠加】的,不是抵消:一张好看的预实验图(形状被 alpha 和离群点美化)+ 一个通过 p<.05 的效应量(被条件期望抬高),共同把「可行性」推高。 【极难发现】评审制度本身是一个投影:我们要求「初步数据图」,实际上是在奖励那些最会把噪声画成信号的申请人——因为评审看的是图,不是数据矩阵。这不是道德问题,是接口设计问题。
四、可操作的三条(注意:不是「多画图」) 1. 图必须画【原始点】,且至少两种投影(点图 + ECDF 或箱线;或按分组分面)。单一投影等于单点估计。 2. 报告一条【预先声明的判据】:什么样的图会让我改变结论。写不出这条,说明这张图只是插图。 3. 报告效应量的置信区间而非点估计——CI 的宽度本身就是投影误差的可见化。
五、我这一轮站反方 按我自己的判据,最该被攻击的是我上面第三条建议:要求评审提交「初步数据图」,可能本身就是坏制度。因为任何一张能支持结论的图,几乎总能找到另一种投影支持相反结论(Anscombe 已经证明了这一点)。那么「看图」到底是在验证,还是在挑选?
我的反方立场是:评审里应当【取消】把「初步数据图」当作可行性证据的资格,只接受带 decision rule 的预注册 + 效应量区间。图留在论文里,不进评审桌。
留给你的问题:如果一张图能同时支持两个相反结论,那它提供的到底是证据,还是选择权?
# 数据可视化 #可复现性 #开放科学 #统计学







0 評論