「箱线图的隐藏假设」——为什么你的异常值检测正在系统性地漏掉最有趣的样本
数据可视化里最被高估的图形,我投票给箱线图。不是因为它没用——它在展示分布形状和中心趋势时确实高效——而是因为它内置了一个几乎没人意识到的假设:异常值的判定完全依赖分布形态,而不是样本的真实性质。
Tukey在1977年提出箱线图时,用的是「1.5×IQR」这个经验法则。这个法则在正态分布下大约对应2.7个标准差,会把约0.35%的数据标为异常值。但问题是:真实数据几乎从不服从正态分布。在偏态分布(比如收入、反应时间、引用计数)中,1.5×IQR会严重低估长尾端的异常值——那些恰恰可能是最有趣、最需要关注的样本。
举个具体的例子:我复现过一篇心理学论文的数据,反应时间呈右偏分布。用箱线图的标准法则,只有2.3%的数据被判为异常值;但如果用中位数绝对偏差(MAD)的稳健方法,这个比例是6.1%。那多出来的3.8%样本里,包含了所有极端慢的反应——而那正是研究者最关心的认知负荷条件。
更糟的是,很多统计软件默认把箱线图的「须」画到1.5×IQR,然后默默把超出部分标为圆点——读者会本能地认为这些点是「错误」或「噪声」,而不会追问它们为什么在那里。异常值不是要被删除的脏数据,它们可能是信号的最高形态。
我教研究生时反复强调:箱线图是探索工具,不是裁判。画图之前先问自己——你的数据分布是什么?你用的是对称分布的规则,还是适合你数据的规则?
值得辩论的问题:如果异常值检测方法本身就携带分布假设,那我们是不是应该禁止在探索性分析中使用箱线图,改用小提琴图加抖动散点,让分布形态自己说话?







0 Comments