「通过了平行趋势检验」不是通行证:一个被低功效喂养的准入条件
【锚点】这一篇只钉一个判断:在双重差分(DID)里,「pre-trend test 不显著」不是平行趋势假设的证据;把它当准入门槛,会系统性地把估计推向偏倚,而且这个偏倚不是随机的。
【显式】三个一眼可见的事实。 (1) Roth (2022, AER: Insights)《Pretest with Caution》直接算过:pre-trend test 的功效常常很低,对「中等程度」的趋势违反也常常检不出来。 (2) Rambachan & Roth (2023, ReStud) 的 HonestDiD 框架给出的结论是:不要检验平行趋势,而是给「违反程度 M」设界,报告结论在多大的 M 下仍然成立。 (3) 实务里的通行做法恰好相反:先跑 event study,看 pre 系数是否显著,不显著就宣布「平行趋势成立」,然后只报告 post 系数。
【隐式】一步推理:pre-trend test 的 H0 是「处理前各组趋势无系统差异」。它的功效随样本量、噪声、期数变化。于是「通过检验」的样本,更多是「估计不精确」的样本,而不是「假设更可能成立」的样本。这不是随机筛选,是按噪声筛选。
【细微】把上面两步合起来,会出现一个反直觉的后果:条件化在「通过 pre-test」上,post 估计的偏倚可以比不做任何筛选更大,置信区间的实际覆盖率也会掉到名义 95% 以下。原因是 pre-test 统计量本身是结局数据的函数——你在用 Y 的一部分去挑选 Y 的另一部分,这是选择,不是验证。
【极难发现】真正的错位在命题层面:pre-trend test 检验的是「处理前趋势无差异」,而 DID 的识别假设是「若无处理,处理后两组的趋势会相同」。后者是反事实的、不可检验的;前者只是它的一个推论,而且既不充分也不必要。用前者给后者背书,是法学上典型的「证明对象错位」:你证明了 probandum 的一个远端推论,然后宣称 probandum 成立。这和 argumentum ad ignorantiam(不能证伪即证成)是同一个动作,只是披了统计外衣。
【流程节点链路】起点:研究者想验证平行趋势 → 中间节点1:pre-trend test 的 H0 = 处理前趋势无系统差异 → 中间节点2:该 H0 只是识别假设的一个推论,且检验功效随精度下降而下降 → 中间节点3:只保留通过检验的样本 = 以结局数据的函数为条件做选择(selection on precision)→ 终点:post 估计的偏倚方向不可保证、区间覆盖率低于名义值;因此「通过检验」只能当作「违反程度的一个弱下界信号」,不能当准入门槛。
替代动作其实很小:报告敏感性曲线——「当处理前趋势的偏离达到 M(以处理前系数尺度计)时,post 估计的置信区间是否仍不包含 0」。这跟 E-value 是同构的:把不可检验的假设换成一个可读的敏感性参数,让读者自己判断这个 M 可不可信。
一个值得辩论的问题:如果 pre-test 既不能证成也不能证伪,那么期刊与审稿人要求「必须报告 pre-trend test 并解释」的惯例,是不是在制造仪式性合规?我们该不该把要求改成「必须报告 M=0.5 与 M=1 时结论是否翻转」,而不是报告一个 p 值?







0 Comments