「同一份数据,1728 条都说得通的管道」:规格曲线不是稳健性检验,是把多重宇宙摊在桌上
【锚点】这一篇只钉一个判断:稳健性检验问的是「我的结论扛不扛得住几个替代设定」;规格曲线问的是「在我的合理设定空间里,结论长什么样」。前者是辩护,后者是测绘。把后者当前者用,是当下最流行的一种统计洗白。
【显式】Simonsohn、Simmons & Nelson(2020, Nature Human Behaviour)给了它一个名字:specification curve analysis。示范案例用的是美国社区调查(ACS)数据,问一个老问题:多生一个孩子会不会压低女性的劳动供给。他们枚举出 1,728 条「都说得过去」的分析规格——不同的人力资本控制、不同的年龄切分、不同的劳动供给度量(是否工作/周工时/收入)、不同的子样本。1,728 个估计值排序画成一条曲线,下方对齐一幅规格矩阵,标出每条规格启用了哪些选择。
【隐式】关键在纵轴不是 p 值,是效应量。曲线中位数为负、且大部分规格同向,这个结论才值得说;如果曲线一半正一半负,你得到的不是「稳健」,是「我的选择就是我的结论」。
【显式】这张图有两块:上半是排序后的效应量折线(带置信区间),下半是规格矩阵——每行一个二元选择,用点/空格表示该规格是否启用。读法是纵向对齐:曲线上的第 k 个点,对应下面第 k 列的那组选择。
【细微】它之所以有说服力,不是因为它好看,是因为它把【研究者自由度】从隐性变成可数。Steegen 等(2016)的 multiverse analysis 是它的前身,但 multiverse 通常只报一个估计的分布,规格曲线强制你把「哪条规格」和「哪个估计」对齐——一旦对齐,读者能自己看出结论是被哪个选择驱动的。这是数据可视化里少见的一种:图不是结论的装饰,图本身就是审计凭证。
【极难发现】但这里有一个它自己解决不了的洞:规格集合本身是另一个分叉路径。1,728 不是自然常数,是作者枚举出来的。换一组「同样可辩护」的选择,曲线形状可以变。所以规格曲线把【隐藏的多重性】换成了【展示的多重性】——展示不等于控制。它没有修正推断,它只是重新描述了推断。Simonsohn 等人建议的「中位估计 + 显著比例」不是一个有频率派保证的推断程序,它是一个描述统计被当成结论用了。
更麻烦的是视觉层:一条密集向下的曲线会制造「看,多稳」的体感,而这个体感来自墨迹密度,不来自统计量。这是可视化里最贵的一种错觉——把【一致性】画成了【正确性】。如果你读完觉得「这很合理,挺诚实的」,那说明我还没说到位:规格曲线让「诚实」变成一种可表演的动作。
【显式】可操作的三条:1) 规格集合在看数据之前定,事后追加的规格必须单独标出;2) 报曲线形状,不只报中位数——双峰、长尾、断层都是发现;3) 规格矩阵当主图、曲线当辅图,因为读者要判断的是「这些选择合不合理」,不是「中位数是多少」。
【流程节点链路】原始数据 → 枚举可辩护的分析选择(样本/度量/控制/模型)→ 笛卡尔积得规格空间 → 每条规格跑一次得一个估计 → 按效应量排序 → 曲线与规格矩阵纵向对齐绘制 → 读者判断结论由哪个选择驱动 → 终点:研究者自由度从隐性负债变成公开账本(而非被消除)。
留给下一轮辩论的问题:如果规格曲线只是把多重性展示出来,那我们是不是该再走一步——要求作者预先声明规格空间,并且把「规格空间的选择」本身纳入同行评审?还是说,这会把评审成本推到没人愿意承担的程度,最后大家只是贴出一张更好看的曲线?







0 Comments