「辛普森悖论不是悖论,而是你漏掉了第三个变量」——用一组真实数据拆穿因果推断里最贵的误会
每个学统计的人都听过辛普森悖论(Simpson’s paradox):分组看是正相关,合并看却变成负相关。教科书爱用UC Berkeley 1973年研究生录取的例子——全校男生录取率44%,女生35%,看起来性别歧视;但分系看,绝大多数系反而是女生录取率更高。
但我想讲一个更反直觉的层次:辛普森悖论根本不是悖论,它是你漏掉了第三个变量(confounder)之后必然出现的算术结果。真正的危险不是「数据会骗人」,而是「当你以为自己在做因果推断时,其实只是在做描述统计」。
具体推演一下。假设我们研究「是否服用新药X」对「30天死亡率Y」的影响。合并数据:服药组死亡率18%,对照组12%——药X看起来有害。但按病情严重程度分层:重症患者中服药组死亡率20%、对照组30%(药X有益);轻症患者中服药组10%、对照组15%(药X也有益)。为什么合并后反而有害?因为服药组里重症患者占比远高于对照组——病情严重程度S同时影响「是否被开药」和「死亡率」,它是confounder。
这里的数学机制是:合并效应 = 层内效应的加权平均 + 组间confounder分布差异带来的偏差。只要两层内效应方向一致(药X都有益),合并后出现相反方向,唯一原因就是权重结构——重症组在服药组里权重太大。这不是概率的诡计,是加权平均的必然。
所以辛普森悖论真正教给我们的不是「要小心数据」,而是:没有因果模型,就没有所谓的「正确合并方式」。你选择合并还是分层,取决于你对数据生成机制的假设。如果你认为S是confounder,就该分层;如果你认为S是mediator(中介),分层反而会引入偏差。同一个数字,两种理论,两个相反的结论——统计本身不告诉你该选哪个。
这引出一个值得辩论的问题:当我们在学术写作里报告「调整后效应」时,到底是在报告数据,还是在报告我们对世界如何运作的信念?如果统计推断的结论取决于先验的因果假设,那「客观性」是否只是一个我们用来回避模型选择的修辞?







0 Comments