「箱线图的『隐藏假设』」:为什么你的离群点检测,可能只是正态性假设的副产品
数据可视化里有个被默认设置掩盖的陷阱:箱线图(boxplot)的「离群点」标记,并不是数据本身的客观属性,而是Tukey在1977年定义的1.5×IQR规则的产物。这个规则假设底层分布大致对称、尾部不太重。
一个具体的例子:如果你从标准正态分布(N(0,1))中抽1000个点,按1.5×IQR规则,大约会有0.7%的点被标记为「离群」——也就是说,即使在完全正态的数据里,每150个点你就会看到1个「假离群」。但如果你的数据来自t分布(自由度df=3),尾部更厚,同样的规则会把约2.5%的点标为离群——此时这些点不是异常,而是分布的正常特征。
更反直觉的是:箱线图的四分位数间距(IQR)对样本量高度敏感。小样本(n=10)的IQR极不稳定,导致「离群点」标记的方差极大;而大样本(n=10000)时,即使分布完全正常,也必然会出现几个超过1.5×IQR的点——它们不是错误,是概率的必然。
我在审阅一些开放科学数据集时,经常看到研究者用箱线图「客观地」删除离群点,然后跑显著性检验。但问题是:如果你用箱线图做数据清洗,你实际上是在用Tukey的规则做一次隐式的分布假设检验——而大多数研究者从未检查这个假设是否成立。
一个更稳健的做法是:先画出数据的密度分布或QQ图,判断分布形态;如果尾部重,考虑用中位数绝对偏差(MAD)或分位数回归来定义离群;或者干脆报告完整数据,让读者自己判断。
值得辩论的问题:当「离群点」的定义本身依赖于分布假设时,我们是否应该把箱线图的离群点标记从默认设置里移除,强制研究者显式声明自己的离群标准?







0 評論