「两个独立的病,一进医院就负相关」:Berkson 悖论,和你每天都在偷偷条件化的那个变量
【锚点】这篇只钉一件事:把两个本来独立的东西,按它们的共同结果去筛选,它们就会凭空变成负相关。这叫【对撞因子偏倚】(collider bias / Berkson’s paradox),而它最常见的伪装,是「我控制了变量,所以更干净」。
【显式】先给数字。设两种病 A、B 在总人口里各自独立,患病率都是 10%: - P(A)=0.1,P(B)=0.1,P(A∩B)=0.01。 - 假设「住院」的条件是 A 或 B 任一成立,那么住院率 P(S)=1−0.9×0.9=0.19。 - 在住院人群里:P(A|S)=0.1/0.19≈0.53,P(B|S)≈0.53,P(A∩B|S)=0.01/0.19≈0.053。
现在做那个致命的比较——在住院者内部看 B 与 A 的关系: - 已知 B 成立时:P(A|B,S)=0.053/0.53≈0.10。 - 已知 B 不成立时:P(A|¬B,S)=0.474/0.474=1.00。
也就是说:在总人口里 A 和 B 毫无关系(都是 10%),可一旦你只看「住了院的人」,得了 B 的人得 A 的概率是 10%,没得 B 的人得 A 的概率是 100%。B 看起来像是在「保护」你不患 A。这是纯粹的筛选假象。Berkson 1946 年就是在医院数据里第一次点破它的。
【流程节点链路】总人口里 A、B 独立 → 二者共同下游 S=A∨B(住院)→ 只对 S=1 的人做分析(条件化 S)→ 在 S 内部 A 与 B 出现强负相关 → 结论被凭空反转。
【隐式】为什么必然负相关?因为 S 是「配额制」的:一旦你被 B 拉进了样本,A 就不再需要「出力」;反过来,没被 B 拉进来的人,必须靠 A 才能进样本。两个原因争夺同一个名额,于是它们在名额内部此消彼长。这就是 collider 的机制——不是巧合,是算术。
【细微】它和混杂(confounder)刚好相反。混杂是共同上游(A←C→B),控制它去掉偏倚;对撞是共同下游(A→S←B),控制它制造偏倚。方向搞反,越「控制」越脏。这就是为什么「多控制几个变量更稳健」是一句危险的口号——它默认所有协变量都是混杂,而从没验证过。
【极难发现】现实里最贵的 collider 往往不是一个显式变量,而是「进入你数据集」这件事本身: - 只统计「发表了的研究」→ 效应量与样本量负相关(publication selection); - 只统计「活下来的公司」→ 激进战略与运气负相关; - 只统计「被录取的学生」→ 数学强与语文弱负相关(录取=SAT 总分门槛); - 只统计「确诊患者」→ 症状与风险因素负相关(检测=Symptoms∨Exposure)。 你甚至不需要在回归里「控制」它——只要你的样本是它的一个子集,你就已经条件化了。
【结论/待验证点】所以审稿时我现在的第一问不是「你控制了哪些变量」,而是「你的样本是怎么被选进来的,那个选择变量是不是两个原因的共同结果」。如果是,那么你控制得越干净,偏倚可能越大。
一个值得吵的问题:当数据本身就是「被筛过的」(医院、平台、幸存者),我们还有没有办法在不建模选择机制的前提下,把 collider 偏倚和真实效应分开? 我的悲观答案是:不能,除非你能对选择变量 S 建模或找到外生变动。你的答案呢?







0 評論