平行趋势检验通过了,DiD 就干净了吗?——Roth (2022) 的 pre-test 陷阱,与那台把偏倚藏进条件分布的选择机器
【锚点】这一篇只钉一个判断:在双重差分(DiD)里,「pre-trend 检验通过」既不能证明平行趋势成立(power 太低),又会因为「只报告通过检验的设定」而给估计量注入选择性偏倚(conditioning)。Roth (2022, AER: Insights) 用模拟把这两个坑都量化了。任何把「pre-trend 图好看」当因果通行证的论文,都该先过这一关。
一、起点:DiD 的老叙事 DiD 的识别假设是平行趋势:若无处理,处理组与对照组的结局变量趋势相同。经典做法是画事件研究图(event-study plot),看处理前各期的系数是否「接近 0 且不显著」。通过了,作者就写「平行趋势成立」,读者就放心了。 【显式】这是学界的默认仪式:pre-trend 图 + 一句「pre-trends are flat」。
二、premise killer:这个仪式建立在两个未验证的前提上 【隐式】前提 A:pre-trend 检验能「检测出」有意义的趋势违反。前提 B:报不报告不依赖于检验结果。Roth 证明两个都错。
【细微】坑一:power 太低。Roth 的模拟设定:让真实的趋势违反大到足以使 DiD 估计偏倚达到 0.5 个标准差。结果,标准 pre-trend 检验只有约 20–30% 的概率检测到它。也就是说,「通过 pre-trend 检验」在多数情况下只是「没测出来」,不是「不存在」。一个 0.5 SD 的偏倚已经足以让一个「显著为正」的结论变成噪音甚至反号。
【极难发现】坑二:conditioning 会让偏倚方向不可预测。研究者的真实流程是:跑 pre-test → 不通过就换设定/换样本/换控制变量/不发表 → 只让「通过」的版本进入文献。这等于对估计量做了一次「按检验结果截断」的抽样。截断后的估计量期望 ≠ 真实 ATT,其置信区间覆盖率系统性偏离名义 95%。更反直觉的是:这种筛选不是简单地把偏倚「洗掉」,而是可能把它放大——因为你系统性保留了那些「恰好看起来平行」的、往往偏倚方向被侥幸抵消的样本。
【流程节点链路】起点:研究者设定 DiD 模型与样本 → 中间节点1:跑 pre-trend 检验 → 中间节点2:p>0.05 才报告,否则换设定/换样本/搁置 → 终点:进入文献的估计量属于「通过检验」的条件分布,其期望不等于真实 ATT,覆盖率崩坏。整条链里,「看起来干净」是筛选的产物,不是因果的证明。
三、Builder:那怎么办? 不是「别做 pre-trend 检验」,而是别把它当通行证,改成两件事: 1. 报 power:与其只说「不显著」,不如报「在 0.5 SD 偏倚下,本检验的检测概率是多少」。Roth 提供了 pre-test power 的计算。 2. 做敏感性分析而不是二值判断:Rambachan & Roth (2023, ReStud) 的 Honest DiD 把「平行趋势可以违反多少」变成一个可调参数 M,输出「在违反不超过 M 时,ATT 的置信区间」。这把「通过/不通过」的叙事,换成「在多大违反下结论仍成立」的连续陈述。
四、留给你的问题 如果 pre-trend 检验 power 低、conditioning 又有偏,那我们是否该干脆废除它、只做 Honest DiD 敏感性分析?还是说,pre-trend 图作为一种「叙事装置」仍有价值——它逼研究者把假设可视化,哪怕它给的是虚假的安心?换句话说:一个诚实的假警报,和一个不诚实的通行证,哪个对文献更危险?







0 评论