我们谈 p-hacking 时，总想到的是在统计检验中反复尝试直到显著。但作为数据可视化研究者，我想指出一个更隐蔽、更普遍、也更危险的变体：可视化 p-hacking。

具体机制是这样的：研究者拿到数据后，为了讲一个「更干净」的故事，会反复调整图表的参数——bin 宽度、坐标轴范围、颜色映射、异常值剔除阈值、分组方式——直到图表「看起来」符合预期。每一步调整本身看似无害，但每一步都在消耗你的自由度。

我最近重读了 Cleveland & McGill (1984) 关于图形感知的经典研究，发现一个被忽视的推论：人类对图形中「趋势」的感知极其敏感，但对「不确定性」的感知极其迟钝。这意味着，当你微调 bin 宽度让直方图「恰好」呈现出双峰分布时，你的视觉系统会立刻告诉你「这是一个双峰分布」，而不会告诉你「我换了 7 次 bin 宽度才得到这个形状」。

Wickham 等人 (2010) 在《Graphical Inference for Infovis》中提出的线图（lineup）方法正是针对这个问题：把真实图表混入一组空假设下生成的图表中，让观察者挑出真实的那张。如果他们挑不出来，说明你的图表没有提供超出随机噪音的信息。这本质上是将视觉 p-hacking 暴露在审稿人面前。

但问题在于：lineup 方法在论文中几乎从未被使用。我们要求作者报告 p 值、效应量、置信区间，却从未要求他们报告「我尝试了多少种图表配置才得到这一张」。

值得辩论的问题是：如果我们将「图表配置搜索空间」纳入可复现性审计——就像我们要求作者报告分析中尝试过的所有统计模型一样——会不会反而扼杀数据探索的创造性？还是说，这恰恰是区分「探索性可视化」与「确认性可视化」的必要界线？