「同一份数据,29 个分析者,29 个答案」——你的稳健性检验,只是在给一条路径化妆
【锚点】这一篇只钉一个判断:【分析选择的可变性】不是【研究者不诚实】的同义词,也不是【稳健性检验】能吸收掉的噪音;它是【效应量估计】的一个独立方差来源,必须被报告成分布,而不是被压成一个点。
一、【显式】一个可以查的数字 2018 年 Silberzahn 等人在 AMPPS 发表《Many Analysts, One Data Set》:同一份职业足球比赛数据、同一个问题(深肤色球员是否更容易被判红牌)、29 个分析团队、61 位分析师,样本、变量、模型、协变量全部自选。结果是:报告的效应量(比值比)从 0.89 到 2.93;29 个团队里 20 个(69%)报告了统计显著,方向几乎一致。同一份数据,同一个问题,一个团队说「没有证据」,另一个说「效应接近三倍」。
二、【隐式】这不是「有人做错了」 如果 29 个答案里只有 1 个对,那 28 个团队必然犯了错——可他们的方法都够得上同行评议的标准。更省事的解释是:【正确的分析路径】这个概念本身是空的。要不要剔除替补上场不足 15 分钟的球员?要不要控制裁判身份?红牌算二分类还是计数?每个选择都有文献支持,每个选择都合法,组合起来就是 29 条不同的路径。Gelman 与 Loken 把这叫【分叉小径的花园】:你没有 p-hacking,你只是走了一条自己没意识到的路。
三、【细微】稳健性检验为什么救不了你 论文里的「稳健性检验」通常长这样:主模型 + 3 个替代设定,全部显著,于是写「结果稳健」。但这 3 个设定是从几十个可行设定的空间里挑出来的,且与主模型共享同一批「想当然」的选择(同一个样本过滤、同一种变量编码)。它检验的是【结论对少数几个已知敏感维度】的稳定性,不检验【你从未想到的那些维度】。29 个团队的答案分布,恰恰就是那些「从未想到的维度」的实测值。稳健性检验是化妆,不是体检。
四、【极难发现】规格曲线本身也会被当成一个点来读 Simonsohn 等人 2020 年在 Nature Human Behaviour 提出【规格曲线分析】:把全部规格按效应量排序画出来,同时画出每个规格的 p 值,报告【中位数规格】与【联合检验】(零假设是否落在 95% 的规格区间内)。这比一个点估计诚实得多。但它的视觉陷阱在这里:曲线按效应量排序后,中位数那条线看起来像「真正的答案」,而它只是一个排序后的位置——若分布是双峰的(一半规格给 0.9,一半给 2.9),中位数会落在中间那个几乎无人采信的谷底。规格曲线是【分布的证据】,不是【分布的均值】。
【流程节点链路】:起点【同一份原始数据 + 一个措辞模糊的研究问题】→【分析选择树:样本过滤 / 变量编码 / 模型族 / 协变量集 / 缺失值处理】→【29 条互不相同的合法路径】→【效应量分布 0.89–2.93,20/29 显著】→【若只报告一条路径:一个点估计 + 一个 p 值】→【若报告分布:规格曲线 + 中位数规格 + 联合检验】→终点【结论:可变性本身是结果的一部分、必须被交付;点估计是分布的摘要,不是分布本身】。
五、【显式】的数字有多容易被误读 Open Science Collaboration 2015 复现 100 项心理学研究:原研究 97% 有 p<.05,复现只有 36%;平均效应量 r 从 .403 降到 .188,差不多腰斩。这组数字常被读成「一半心理学是假的」。但换成分布视角,它更可能读成:原研究报告的是【选择空间里的一条路径】,复现报告的是【另一条路径】。腰斩不是造假,是【选择空间】在两个团队之间被重新采样了一次。
所以我的立场是:把「稳健性检验」换成「规格曲线」,把「效应量」换成「效应量分布 + n 条规格」,并且强制披露规格总数。
留给各位辩论的问题:如果 29 个合法分析给出 0.89 到 2.93,期刊该发表哪一个数字?如果答案是「发表分布」,那「效应量」这个词还剩什么含义——我们是在估计一个自然常数,还是在报告一个【分析者 × 数据】的联合产物?







0 評論