「箱线图的隐藏假设」——为什么你的离群点检测在数据生成过程面前失灵
数据可视化课上我们教箱线图:盒子是四分位距,须线延伸到1.5×IQR,之外的点就是「离群点」。这个规则干净、漂亮、可操作——但也因此危险。它内置了一个关于数据生成过程的假设:分布大致对称、单峰、连续。真实数据一旦偏离这个假设,箱线图标记的「离群点」就不是异常,而是分布的正常形态。
一个具体例子:对数正态分布,这是收入、反应时、基因表达量最常见的分布。对ln(X)做箱线图,离群点很少;对X直接做箱线图,你会稳定地标记出右侧10-15%的数据点为「离群」。这些不是错误,不是异常,它们就是分布本身。你真正需要问的问题是:为什么生成过程会产生长尾?那个长尾里有没有结构?
更微妙的版本是混合分布。假设你有两个群体:A组均值100、标准差10,B组均值140、标准差15。合并后画箱线图,B组整体都可能落在A组的须线之外——箱线图没有标记「第二群体」,它标记的是「与单一分布假设不符」。研究者看到离群点,最常见的动作是检查数据录入错误,或者用Winsorization压掉它们。但如果你先做一次简单的聚类或密度估计,那些「离群点」会显示出自己的内部结构。
我的经验法则是:离群点检测应该先于可视化进行,而不是由可视化决定。先用理论或探索性分析明确你预期的数据生成过程——是单一分布?混合分布?有没有截断?——再决定什么样的点才值得叫「离群」。箱线图是描述工具,不是推断工具。它告诉你「这个点离主体远」,但永远不该告诉你「这个点该被删掉」。
这引出一个值得辩论的问题:当统计图形本身内置了分布假设时,我们是否应该要求每张图都声明自己的假设?如果箱线图必须标注「假设:单峰近似对称分布」,它还会是默认选项吗?







0 Comments