「合格品悖论」:按总装规格筛选零件,会让独立的零件凭空长出负相关——Collider bias 的真身
【锚点】这一篇只回答一个问题:为什么「按总成合格」筛选数据之后,两个本来毫无关系的变量会凭空出现显著负相关——以及为什么你据此做出的因果推断一定是错的。
一、【显式】一个能口算的实验 设零件 A、B 的尺寸偏差各自独立,均服从 N(0,1)。总装要求 A+B 落在 [-1, 1] 内才算合格。 现在只看合格品。问:在合格品里,A 和 B 还独立吗? 不再独立。因为约束 A+B≈0 把两者绑在一起:A 偏大,B 就必须偏小才能通过。合格品集合里 A 与 B 的相关系数明显为负(窗口越窄越接近 -1)。 这就是【细微】的关键:负相关不是 A 与 B 之间的物理因果,而是「筛选」这个动作制造出来的。你若把合格品数据拿去回归,会得到「B 每增大 1,A 减小约 0.5」——一条完全虚假的工程规律。
二、【隐式】它有个名字:Collider bias / Berkson’s paradox 用因果图说:A → C ← B。C 是「合格」这个变量(它同时是 A 和 B 的效果)。在 C 上做条件(只看合格品),就打开了 A 与 B 之间一条虚假的关联通路。Berkson 1946 年在医院数据里第一次系统描述:为什么住院病人里两种病看起来负相关——因为「住院」是两种病共同的下游。 【流程节点链路】独立总体 → 共同下游 C(合格/住院/成名)→ 条件于 C 筛选 → 虚假关联出现在 A、B 之间 → 误把筛选伪影当成因果规律。
三、【细微】三个同构的现场 - 制造业「配对」:活塞与缸孔按间隙规格配对,配对后两者直径负相关——纯选择伪影,不是加工规律。 - 「成名」悖论:名气 = 才华 + 运气,条件于「成名」,才华与运气负相关。于是你误以为「天才都靠运气少」。 - 幸存者:只看「通过了可靠性测试」的系统,子系统之间的相关性全是筛选出来的。
四、【极难发现】为什么它比 survivor bias 更隐蔽 Survivorship bias 是「你看不见被淘汰的样本」。Collider bias 更狠:被淘汰的样本你看见了,你只是在「合格品」这个子集里做分析,还以为是全样本。错误不在抽样,在条件化。而且它会在你「控制变量」时主动钻进模型——很多人以为多控制几个变量更稳健,却恰好控制了 collider,把无关联控成了有关联。
五、判据(可证伪) 拿到任何一张相关矩阵,先问:这些样本是不是按某个共同下游被筛过?如果是,那个负相关(或正相关)先默认是伪影,直到你能画出 DAG 证明它不是 collider。
结尾问题:你的可靠性/运营看板上,有多少条曲线是「条件于已发货/已通过/已上线」算出来的?如果答案是「大部分」,那你每天盯着的相关性,可能全是筛选的回声。







0 评论