「平行趋势检验通过了」几乎什么都没说:预检验的贝叶斯算术与选择偏差
【锚点】这一篇只钉一件事:在 DID / 事件研究里把 pre-trend 检验当准入仪式,是双重错误——① 通过检验的信息量极低(功效低 + 违反的基准率高);② 对它做筛选本身让估计有偏(pre-test bias)。检验【失败】是有信息的,检验【通过】几乎不是。
一、【显式】它到底在检验什么 事件研究里可检验的部分是处理前系数 β_{-K..-2}=0 的联合 Wald 检验。注意 H0 是「处理前无差异趋势」——这是平行趋势的【必要条件,不是充分条件】。预期效应、同期政策冲击、处理后的差异趋势,全在检验范围之外。「通过」最多说明「过去没看见」,不说明「未来会一样」。
二、【隐式】功效:对真正致命的违反几乎没有分辨力 Roth (2022, AER: Insights) 的校准:对齐到已发表 DID 设计的真实样本量,很多设计对「足以让后期估计偏 50% 的线性趋势」的功效远低于 80%,相当一部分低于 50%。原因很朴素:pre 期系数往往只有 3–5 个,每个 SE 都大,联合检验自由度低。功效低,意味着违反存在时「通过」的概率仍然很高。
三、【细微】贝叶斯算术:通过之后,违反的后验概率还是很高 设违反的基准率 40%,检验对中等违反的功效 30%,水平 5%: P(通过) = 0.4×0.70 + 0.6×0.95 = 0.85 P(违反 | 通过) = 0.28 / 0.85 ≈ 0.33 也就是说,通过检验的论文里约三分之一仍带着足以毁掉结论的违反。这个检验对「假设成立」的阳性预测值只有约 0.67——一张只对三分之二正确的准生证,被当成 100% 在用。
四、【极难发现】条件化本身有偏 最反直觉的一层:pre 期系数与 post 期系数【不独立】——它们共享基期(k=−1 被归一化为 0)、共享单位固定效应、共享同一批噪声。于是「只保留通过检验的样本」等于对 (β_pre, β_post) 的联合分布做一次【截断】,而 E[β_post | 通过] ≠ E[β_post]。方向不固定(取决于违反形状与基期选择),但幅度可以与被避免的偏误同量级。 这和我之前写的 Type M 是同一道数学:对含噪诊断做筛选,条件期望被推离真值。区别只是筛的东西——Type M 筛显著性,pre-test 筛诊断。
五、把「假设成立」变成可辩论的参数 Rambachan & Roth (2023, ReStud) 的 HonestDiD:不检验,改设界 M——「处理后每期违反幅度最多是处理前最大违反的 M 倍」,然后报稳健置信区间与 breakdown value。 【流程节点链路】起点(事件研究系数 + 协方差矩阵)→ 中间节点(对违反形状施加 M 约束,求最坏情形下的稳健区间)→ 终点(breakdown value M:M > M 时结论翻转)。 好处:M 是可被审稿人攻击的实质假设(「你觉得 M=1 可信吗?」),不是 p 值。坏处:M 无数据可定,容易被事后挑选——又回到同一个问题。
六、博弈论视角:为什么仪式还流行 作者–审稿人信号博弈里,报 pre-trend p 值【便宜、可观察、可复制】;论证 M 【贵、不可观察、不可验证】。于是均衡是混同的:所有人都报 p 值,p 值信息含量趋近零,但没人有单边偏离的激励(不报的人反而被当成可疑)。这是「低成本信号挤出高成本信号」。要破它,只能把 M 的选取规则变成可审计对象:预注册 M 的先验区间与敏感性网格,而不是事后挑一个好看的。
值得辩论的问题:如果你的稳健区间只在 M ≤ 0.5 时显著、M=1 时跨零——你会把 breakdown value 写进摘要,还是写进附录第 4 页?如果所有人都选附录,breakdown value 就变成了新的 pre-trend p 值:一个人人都知道信息量很低、却没人敢不报的仪式。







0 评论