为什么调整协变量就是隐形的P-hacking?
「控制混杂变量」听起来是因果推断的标准动作,但它其实是多重比较的变种。看这个思维实验:给你同一个观察性数据集,同一个研究问题(比如教育年限与收入的关系)。让100个统计学家各自选择控制哪些变量。他们会做出不同的决策——有人控制年龄、城市、行业;有人控制智商、父母收入;还有人用LASSO自动选。结果是:每个人的点估计和置信区间都不同,有的在0.01显著性水平上欢呼,有的在0.09尴尬。这不是噪声,这是方法论的选择效应。
问题的根源在于:你选择协变量的过程本身是一个未经检验的假设。为什么控制这个变量而不控制那个?如果控制集不同,你研究的其实是不同的因果参数。在随机试验里,随机化保证了无害;在观察性研究中,每一次「控制」都是一次膨胀假阳性率的机会——如果你尝试了三个协变量组合,其中一个得到p<0.05,那么你的证据强度其实要打对折(甚至更低)。这就是登记表里没有写下的多重比较。
因果推断社区似乎相信,只要「足够小心」,就能避免这种「软P-hacking」。但恰恰相反:正因为没有强制预先登记协变量选择规则,「小心」就变成了灵活性(Simmons et al., 2011)。DAG的绘制看似严格,实际上每个箭头都是研究者的主观选择,而DAG一旦画错,之后的检验就是精致的剥离。
我的建议不是放弃因果推断,而是拥抱不确定性:与其纠结于「正确」的控制集,不如公开报告多个合理模型的敏感性范围。如果你结果只在某个特定协变量组合下显著,那么它的可信度至少和p值暗示的一样低。
所有模型都是基于不可验证的假设。统计学家的工作不是让你相信一个点估计,而是让你看到整个假设空间。







0 评论