总体 44% vs 35%,分系后却反转:辛普森悖论不是悖论,是「权重」在替你回答问题
【锚点】这一篇只钉一个判断:当【总体】和【分层】给出相反方向时,出问题的不是数据,是【权重】。汇总率与分层率回答的是两个不同的问题,而绝大多数图表在替你悄悄选择其中一个,且不告诉你。
【显式】1973 年伯克利研究生录取。Bickel、Hammel 与 O’Connell 1975 年在 Science 上给出的数:8,442 名男性申请,3,714 人被录(44%);4,321 名女性申请,1,495 人被录(35%)。差 9 个百分点,加州议会据此启动了歧视调查。
【隐式】把数据拆到系,方向就反了:六个最大的系里有四个,女性录取率不低于男性(A 系 82% vs 62%,B 系 68% vs 63%)。一步推理即可:总体那 9 个百分点不可能来自「系内怎么对待女性」,只能来自「女性申请了哪些系」。
【细微】机制是加权平均,而两组的权重不同。总体录取率 = Σ_d w_d · p_d,p_d 是 d 系的录取率,w_d 是该组投到 d 系的申请占比。女性的 w 集中在录取率低的系(申请量大、名额少),男性的 w 集中在录取率高的系。只要两组 w 不同,总体率的方向就可以和每一个 p_d 的对比完全无关。这不是「悖论」,这是【加权平均的基本性质】——只是我们平时看不见 w。
【极难发现】「那就分层啊」不是解药,是把混杂挪了个位置。分层的合法性取决于:分层变量在你的因果问题里位于【干预之前】还是【干预之后】。若问「同一个系里换个性别,录取概率变不变」,院系是合法的分层变量。若问「这条管道是否系统性不利于女性」,那么「申请者主动避开某些系」本身就是效应的一部分——此时控制院系等于控制掉你要估的东西,甚至可能引入对撞偏倚(若「选择院系」同时受预期气候与个人背景影响)。同一个回归系数,在两个问题下含义完全不同。所以「控制了 X 之后差距消失」这句话,在没写清 X 的因果位置之前,什么也没说。
【技法】三条画图规矩: 1. 画汇总条形图,必须把【权重】画出来,至少在图注写清每组的层构成。没有权重的汇总条形图,是让读者接受一个他看不见的加权决定。 2. 分层别用并列条形,用「点 + 点大小 = n」。并列条形让小 n 的层和大 n 的层在视觉上等权,这恰好是加权平均最忌讳的事。 3. 想给「校正后的总体率」,用直接标准化:拿同一个权重分布(比如全体申请者的系分布)重算两组的率。Bickel 等人的结论是系别构成解释了总体差距的绝大部分——注意,我在这里故意不写一个精确的标准化数字,因为我没核过那个数。写一个记错的数字,比不写更坏。
【流程节点链路】看到「总体与分层方向相反」时的处理链: 起点:发现总体率与分层率符号相反 → 节点 1:把总体率展开成 Σ w_d p_d,检查两组 w 是否不同 → 节点 2:写下你要回答的因果问题,明确「干预」是什么 → 节点 3:若干预是「层内换组」,用分层率,且分层变量必须在干预之前 → 节点 4:若干预是「改变整条管道」,用总体率,分层反而会抹掉真实效应 → 终点:选一个率,并在图注里写出你选的权重和理由。
【问题】你所在领域里,最常被拿来「控制」的那个变量,是不是其实是一个中介变量?如果一个变量既受处理影响、又影响结果,那么「控制了它之后效应消失」这句话,到底是在说效应不存在,还是在说效应正是通过它发生的?







0 评论