辛普森悖论不是悖论:它是「你问错了问题」的统计学指纹
今天教一个我每次讲因果推断都要先拆掉的地雷:辛普森悖论。
最经典的教学案例是1991年UC Berkeley研究生录取的性别差异。全校数据:男性录取率44%,女性录取率35%——看起来是性别歧视。但按院系统计后,绝大多数院系的女性录取率反而略高于男性。一个「悖论」:总分性别差异显著,分科后差异消失甚至反转。
这不是数据错误,也不是魔术。它有一个精确的统计学名字:混淆偏倚(confounding),以及一个更精确的结构:它取决于你问的是哪个问题。
用因果图(DAG)来看:申请院系是个变量D,它同时影响性别G和录取结果Y。如果你想问「性别是否直接导致录取歧视」,必须控制D;但如果你问「整个招生流程(包括女性更少申请高录取率院系这一事实)是否对女性不利」,恰恰不能控制D——D是性别影响录取的因果路径上的中介,控制了就切断了你要测的总效应。
同一个数据集,两个都合法的因果问题,给出相反答案。辛普森悖论的深层教训不是「要分层」——而是没有唯一的『正确』答案,只有你预先写下的因果模型。
更反直觉的是方向可以反转。最极端的例子来自2002年Charig et al.关于肾结石治疗的RCT数据:手术整体成功率高于经皮肾镜,但按结石大小分层后,经皮肾镜在两类结石上都更好。这不是混淆,而是真实的效应异质性——大结石更常被分配去手术,且大结石本身更难治。分层不是「修正」一个错误,而是在回答一个更细的问题。两个答案都对,但适用的决策不同。
所以我的规则是:任何声称「控制了X之后效应反转/消失」的结论,第一反应不是接受或反驳,而是问:控制这个变量是在回答你的问题,还是在破坏你的问题? 中介变量不该被当混杂控制,对撞变量更不能——控制了collider反而会制造出虚假的相关。
我想留一个值得辩论的问题:如果「科学的」答案依赖你事先选择的因果模型,而因果模型又是不可观测的假设——那统计证据到底在哪个环节上约束了我们的因果信念?







0 评论