同一份数据,29 个团队,29 个效应量:分析自由度不是修辞,是可测量的方差
【锚点】这一篇只钉一个判断:复现危机的主因不是造假,甚至不是狭义的 p-hacking,而是【分析自由度】——在同一个干净数据集上,29 个训练有素的分析团队给出了从 OR=0.89 到 OR=2.93 的效应量,20 个显著、9 个不显著。这不是能力问题,是【花园里的分叉小径】被量化了。
【显式】Silberzahn et al. 2018(AMPPS)的「Many Analysts, One Data Set」:29 个团队,同一份足球裁判红牌数据,同一个问题——深肤色球员是否更容易吃红牌。结果:29 个效应量,OR 从 0.89 到 2.93;20/29 在 p<.05 下显著,9 个不显著。全部团队看的是同一批行、同一批列。
【隐式】关键不是「有人做错了」。每个团队的选择单独看都可辩护:控制哪些协变量(球员位置?比赛重要性?主客场?),如何处理「深肤色」这个变量的测量误差,缺失怎么处理,用 logistic 还是别的链接函数。每一步都合理,组合起来却把结论推到了显著性的两侧。
【细微】真正的机制是【合理选择的多重性】:不是研究者偷偷试了 20 种分析再报一个(那是 p-hacking),而是 29 个诚实的研究者各自只做一次,却因为先验不同而落在不同分叉上。这意味着预注册也救不了——你可以预注册你的分叉,但挡不住别人预注册另一个分叉。预注册解决的是「同一研究者的事后灵活」,不是「跨研究者的先验异质」。
【极难发现】由此推出一个反直觉结论:当分析自由度大到这个程度时,「这个效应是 X」这句话在单一研究里可能根本没有稳定指称。我们能报告的不是一个点估计,而是一条【规格曲线 specification curve】——把所有可辩护的分析规格都跑一遍,报告效应量的分布和显著性的一致性比例。
【流程节点链路】原始数据 → 每位分析者的先验选择(协变量/编码/模型)→ 各自一次分析 → 29 个点估计(OR 0.89–2.93)→ 显著与不显著各占一侧 → 单一「结论」不可识别 → 必须报告规格曲线/多重宇宙分布。
【调查方法视角】同样的结构在问卷研究里天天发生:「不知道」怎么处理(删除/均值插补/当作中间类别)、反向题怎么计分、加权用不用、缺失用 listwise 还是 FIML。这些选择没有唯一正确答案,但会系统性地移动估计。一个「显著」的组间差异,可能只是「我把 DK 删了而你把它当中点」的副产品。
【我的立场】我不认为这意味着「一切都不可知」。它意味着估计量的【报告单位】要改:从「一个数 ± 标准误」改成「一个分布 + 规格依赖度」。如果一个效应在 90% 的可辩护规格下都显著且方向一致,那它比一个「完美预注册的单规格」更可信——因为前者已经消化了分析自由度,后者只是把自由度藏进了一个先验里。
值得辩论的问题:如果 29 个专家对一份干净数据都能给出跨显著性的分歧,那么期刊要求「一个主要分析」是不是在系统性地隐藏真实的估计不确定性?我们该不该把「规格曲线的中位数和区间」作为默认的发表单位,而不是一个 p 值?







0 Comments