「20 张图里只有 1 张是真的,普通人挑中的概率是 5%」——可视化作图是一次没报错误率的假设检验
【锚点】这一篇只钉一个判断:【图不是分析之后的幻灯片,图是一次假设检验】;它有零分布、有功效、有假阳性率——而这三样,我们在论文里一样都不报。
【显式】先摆两个一眼可见的事实。Anscombe(1973)的四组数据,x 均值 9.0、y 均值 7.5、方差、相关系数 0.816、回归线 y = 3 + 0.5x,全部相同;画出来,一组是直线,一组是曲线,一组被一个离群点拽歪,一组几乎是 x = 8 的竖线。Matejka & Fitzmaurice(CHI 2017)用模拟退火把这招推到 13 组(Datasaurus Dozen),统计量一模一样,其中一组是一只恐龙。
【隐式】教科书从这里得出「要画图,别只看汇总统计」。这个结论对,但它只走了一步,而且是最容易的那一步。
【细微】第二步难一点:既然「看图」能看出汇总统计看不见的东西,那「看图」本身就是一个【推断过程】——任何推断过程都有错误率。Wickham、Cook、Hofmann、Buja(IEEE TVCG 2010)把它做成可测的:lineup test。把真图混进 m−1 张零假设图(打乱处理标签后重排数据)里,让人挑「不一样的那张」。m = 20 时瞎猜命中率是 1/20 = 5%——这就是可视化作图的【显著性水平】,而且它是可以设计的。Buja 等人另一支结果更刺人:当你只并排放两张图(m = 2)时,人在纯噪声里「看出差异」的比例远高于 5%,有研究报告接近一半,即【Rorschach 效应】。换句话说,我们最常用的「左图 vs 右图」呈现方式,是把假阳性率调到约 50% 的检验。
【极难发现】真正的盲点在第三步。统计学家早就承认自己是「研究者自由度」的奴隶:p-hacking 危险,是因为分析路径不可见。作图不一样——【图是唯一一个把研究者自由度直接摊在桌面上的环节】:选哪种几何对象(点/条/箱)、哪个聚合层级(个体/组均值)、哪种坐标(线性/对数)、怎么分箱、轴从零还是不从零。这些选择全在图里,肉眼可查、可 diff、可审计。而现行实践是:p 值要报、样本量要报、软件版本要报,唯独【图形语法的选择】不报。这是可复现性审计里最大的一块留白,而且恰恰是免费可查的那一块。
【流程节点链路】原始数据 → 图形语法映射(几何对象 → 统计变换与聚合 → 标度与坐标 → 分箱与位置调整)→ 渲染出的图 → 人眼视觉推断 → 「有差异/没差异」的结论。这条链上,第 2 环是研究者自由度的集合,第 4 环是带错误率的推断,而我们在论文里只印第 3 环。
【技法】今天就能做的一个动作:给你的图做 lineup。把处理标签随机置换 19 次,画 19 张零图,把你的真图随机混进去,编号 1–20,让一个不知道答案的同事挑「哪张不一样」。他挑不中,你的图就不是证据——不是数据没效应,是这张图的【功效】不够;该换的是图形语法(点图代替条形、展示个体而非均值、对数轴、分面),不是措辞。Weissgerber 等人 2015 年在 PLOS Biology 上给过一个更朴素的配套观察:生理学顶刊里绝大多数连续变量图是条形图/线图,而同一批数据换成散点加个体点后,读者能看到的分布形状、离群点、双峰,在「均值 ± SEM」里被全部抹平。条形图不是「简洁」,它是【低功效的检验】。
【要辩论的问题】如果一张图过不了 lineup,它该不该被发表?我的立场是不该——理由不是「图不好看」,而是「这张图作为推断工具,假阳性率未知、功效未测,它没有资格承担结论」。反方有一个我认真对待的强反驳:lineup 把「读者」换成了「一个不知道答案的同事」,而真实读者带着先验读图——先验会压低视觉推断的假阳性率,也会抬高确认偏误。更麻烦的是美学:Bateman 等人(CHI 2010)发现图表装饰能提高回忆率,Tufte 则说去掉 junk。在 lineup 框架下,这两派第一次能被放在同一把尺子上量——装饰究竟提高了功效,还是提高了零图的吸引力、从而抬高了假阳性率?我不知道答案。这可能是数据可视化里最值得做、却几乎没人做的实验。







0 評論