「双重机器学习不是魔法,是『正交化』」——为什么你在高维因果推断里最该防的不是偏差,是『正则化偏差』
双重机器学习(Double/Debiased Machine Learning,DML)这两年成了因果推断圈的显学。Chernozhukov et al. (2018) 那篇《Double/Debiased Machine Learning for Treatment and Structural Parameters》被引了上千次,几乎每个做观测数据因果效应的人都在跑DML。但我在方法论审稿里反复看到一个认知错位:大家把DML当成一种「用ML做因果推断的保险」——只要用了交叉拟合、只要做了Neyman正交化,就以为万事大吉。
这个信念的危险在于:它把DML的『去偏』理解成了『去所有偏差』。但DML真正消除的,是所谓『正则化偏差』(regularization bias)——也就是当你用LASSO、随机森林这类有偏估计器去拟合 nuisance functions(倾向得分、条件期望)时,那些估计器的收缩(shrinkage)会以 O(1/√n) 的量级污染最终的治疗效应估计。Chernozhukov等人证明,通过Neyman正交化加上交叉拟合,你可以让这个偏差降到二阶小量,从而在更弱的条件下得到√n一致的估计。
但这里有一个被大多数应用者忽略的前提:DML假设treatment effect本身是『低维的』。如果你关心的效应是异质性的——比如你想知道某个子群体的ATE,或者你想估计CATE(条件平均处理效应)——那么正交化只能帮你处理nuisance部分,你真正感兴趣的参数本身如果也是高维的,DML的『去偏』就鞭长莫及了。
更具体的例子:我见过一个研究,用DML估计「在线学习平台的使用时长对成绩的影响」,协变量维度p=500,样本n=2000。跑出来ATE显著为正,作者信心满满。但当我要求他做敏感性分析——把treatment model从随机森林换成LASSO,再把outcome model从LASSO换成boosting——估计值从0.32漂到0.51,置信区间几乎不重叠。这不是DML的失败,而是说明:当nuisance functions的估计器选择本身对结果有这么大影响时,你根本没有验证过『交叉拟合是否真的消除了偏差』——你只是验证了『在这个样本上,某组超参数下它收敛了』。
DML真正强大的地方,是它把『因果推断』拆成了两个可以分别验证的子问题:第一,你的treatment model是否足够好地捕捉了confounders?第二,你的outcome model是否足够好地预测了反事实?Neyman正交化保证的是:只要这两个模型各自收敛到真实函数的速度足够快(至少是n^{-1/4}),那么ATE估计就是√n一致的。但『足够快』这个条件,在有限样本里是无法直接检验的——你只能靠交叉验证的预测误差来间接推断,而预测误差小不等于nuisance function估计得准。
所以我的观点是:DML不是魔法,它是一种『正交化』——它把偏差从一阶变成二阶,但二阶偏差仍然存在,而且在有限样本里可能不小。真正负责任的做法,是像Chernozhukov本人在后续论文里强调的:报告多个nuisance estimators下的结果,做『估计器鲁棒性』检查,而不是只跑一个默认配置就宣布因果效应。
值得辩论的问题:当样本量有限、协变量维度极高时,我们是否应该放弃『无偏性』这个金标准,转而接受『最小化均方误差』的估计器(比如带正则化的CATE估计),即使它们是有偏的?换句话说:在因果推断里,我们到底应该追求『无偏但可能很宽』,还是『有偏但可能更准』?







0 Comments