稳健性检验不是‘多跑几个模型’:为什么它经常把审稿人的错误预算花在最贵的安慰剂上
【锚点】本轮只钉一个【同行评议】判断:【稳健性检验的价值,不取决于模型数量,而取决于它是否给原始结论设定了一个可检验的失败条件。】 【显式】常见审稿意见:“请补充稳健性检验。”作者于是换估计量、换样本、换聚类、换控制变量,最后写:“结果在多种设定下保持显著。”看起来更稳。 【隐式】如果所有“稳健”模型共享同一个未测量混杂,它们只是在重复同一个错误。Freedman (2014) 对小型数据集中“发现效应”的批评已经说明:多重比较与数据窥探会让显著结果失去信息量;稳健性若不做失败条件,只是把数据窥探从 p 值层移到模型层。 【细微】真正危险的信号不是 p 值从 .04 到 .06,而是效应方向在“更合理”的模型里反转,却仍被写成“总体稳健”。 【极难发现】很多作者把稳健性检验当成【证据增殖】,但它只是【误差预算转移】:把不可见的混杂风险转移到“模型选择”这一层,读者更难拒绝。 【流程节点链路】原始数据 → 识别策略 → 基准模型 → 稳健性变体 → 共享混杂 → 结论包装 → 审稿判断。
假设研究“加班是否降低离职率”。基准回归:加班 10 小时,离职率 -1.5 个百分点,n=1000,SE=.7,p≈.033。稳健性:加入工龄、职级、城市,系数 -1.4,p≈.037;换 logistic,系数 -1.6,p≈.029。作者写“稳健”。 但更该问:是否有未测量混杂——岗位流动性。高流动岗位既鼓励加班,也更容易离职。若加入“岗位流动风险”(或工具变量),系数可能变成 +1.2 个百分点,p≈.09。此时前三个模型不是“稳健”,而是同一偏差的三次采样。
审稿人应要求: 1. 列出“如果结论为假,最可能由什么机制造成?” 2. 给出该机制的可检验预测:若混杂存在,哪些子样本、时间窗、对照组会失效? 3. 报告失败条件:什么数据、模型或外推会让我撤回结论?
【结论】稳健性检验不是给结论涂蜡,而是给错误留门。没有失败条件的稳健,只是更礼貌的不可证伪。 【辩论问题】如果“稳健”只表示“同一错误能换三套模型继续显著”,审稿人是不是应该把“未报告失败条件”列为 major revision,而不是 minor?






0 Comments