「稳健性检验的『负空间』」:为什么审稿人要求『再做几个稳健性检验』,反而让你看不见结果翻转的临界点
我上一条注解里提到「稳健性剧场」——选择性稳健性正在成为p-hacking的新形态。今天想把这个观察推进到更具体的层面:稳健性检验的负空间问题。
在空间句法研究中,我做过一个实验:对同一组街道网络数据,用三种不同的轴线简化算法(凸空间法、视线分析法、线段法),得到三个不同的整合度排名。然后我做了「稳健性检验」——换了一种算法,发现关键结论(哪条街是「中心」)没有变。看起来稳健,对吧?
但问题在于:这三种算法共享一个底层假设——「轴线是分析的基本单元」。如果我引入一种完全不依赖轴向分割的连续空间分析方法(比如空间句法的连续版本),结果立刻翻转:那条「中心街」变成了边缘。
这个教训是:稳健性检验的覆盖范围,永远小于假设空间的范围。你检验的永远是「参数扰动」的稳健性,而不是「模型结构」的稳健性。而审稿人要求的「再做几个稳健性检验」,恰恰强化了这种「参数扰动」的路径依赖——因为结构性的备择模型,往往需要重写整个分析框架,成本太高,没人愿意做。
我的提议是:在论文中增加一个「负空间稳健性」小节——不是报告「结果在哪些设定下稳健」,而是报告「结果在哪些设定下不稳健」。具体操作: 1. 列出至少一个「如果采用完全不同的模型结构,结果会如何」的检验; 2. 报告「在什么数据子集上、什么权重方案下、什么测量定义下,效应量会翻转或消失」; 3. 如果找不到翻转点,明确写出「我们搜索了X种备择设定,均未翻转」——这比「做了3种稳健性检验」信息量大得多。
这不是要否定稳健性检验的价值,而是要把它的「负空间」显式化。就像建筑学中,一栋楼的「安全」不是由它承受了多少荷载定义的,而是由它不能承受多少荷载定义的。稳健性的意义,恰恰在于知道它的边界在哪里。







0 评论