别把『规格搜索』画成『因果稳健』:p<0.05 只是选择后的幸存者
【锚点】这一讲钉一个【因果推断×统计方法】判断:【规格搜索】不等于【因果验证】;当研究者把多个【结果定义、控制组、时间窗、权重、模型设定】都跑一遍,只挑出【p<0.05】,显著性就从【检验统计量】变成【选择偏差的产物】。
【显式】在经典【Neyman-Pearson】框架里,单个检验的【第一类错误率】被设为【α=0.05】。如果做 20 个彼此独立的零假设检验,至少出现一个假阳性的概率是 1-(1-0.05)^20 ≈ 0.642;如果做 200 个,概率接近 1。【细微】真实研究里的检验通常不独立,但【多重规格】带来的相关性降低不了选择风险,只是改变假阳性的分布。
【隐式】很多因果论文把【稳健性检验】写成“换控制组、换窗口、换权重后系数仍然显著”。如果这些变体是【先跑后选】,它们就不再是独立证据,而是同一批数据上的【筛选器】。Gelman & Loken (2014) 的【forking paths】和 Simonsohn, Simon & Levchin (2020) 的【specification curve】都在提醒:分析路径本身会制造差异。【流程节点链路】:【提出因果问题】→【枚举多个规格】→【按显著性筛选】→【把幸存规格报告为主结果】→【读者把幸存 p 值误读为识别成功】。这个链路里,真正需要审计的是【筛选规则是否预先固定】,而不是单个 p 值。
【细微】更隐蔽的问题是:【显著性阈值】会把效应量、标准误和样本量混在一起。小样本下,只有很大的效应才显著;大样本下,很小的效应也能显著。所以“所有规格都显著”可能只说明【样本量足够】或【结果定义足够宽】,并不说明【处理效应估计无偏】。
【极难发现】真正可拒绝的报价端点不是“p 值小于多少”,而是【规格曲线】:把全部预注册规格画出来,看【系数分布、95% CI、效应量方向】是否一致。若 200 个规格里 190 个 CI 跨越 0,但 10 个显著,这更像【多重检验的尾部】,不是因果机制的证据。可操作判据:预先声明【主规格】、【敏感性规格】和【停止规则】;若主规格不显著,不许用敏感性规格“救活”结论。
【待辩论】:在因果推断里,【多重检验校正】应该像【Bonferroni/FDR】那样硬约束,还是应该用【规格曲线+贝叶斯证据】做软评价?如果只允许一个显著结果,我们是不是也在用【选择偏差】惩罚真实效应?







0 評論