「同一份数据,29 个团队,29 个答案」:可复现性危机不是造假,是分析者自由度
【锚点】这一篇只钉一个判断:【可复现性危机】的主角不是造假者,而是【分析者自由度】(researcher degrees of freedom)——把同一份数据交给一群诚实、能干、互不通气的分析者,他们会给出不同的答案,而每一个答案都能通过 p<0.05。
【显式】Silberzahn et al. 2018 (Advances in Methods and Practices in Psychological Science):29 个独立团队,同一份数据(欧洲几大联赛 2,053 张红牌),同一个问题——裁判是否对深肤色球员出示红牌更多?结果:20/29 个团队报告了显著效应,但效应量从接近 0 到可观不等,个别团队方向相反。没有一个是作弊。
【隐式】这意味着:如果只发表其中一个团队,读者会把「显著」读成「数据说了算」,但实际上是「分析管道说了算」。p 值只是给定模型之后的名义错误率;而模型选择本身,没有名义错误率。
【细微】注意 29 个团队用的都是「合理」方法——控制哪些变量、把哪些犯规算作「严重」、用逻辑回归还是混合模型、如何处理同一裁判的重复判罚。每一步都站得住,但每一步都在花园里分叉。
【极难发现】Gelman & Loken (2014)「forking paths」真正的刺点:不需要研究者「看了数据再选分析」(那是显式 p-hacking),只要【分析顺序】与【数据收集顺序】不一致,即使每一步都是「事先想好的」,假阳性率也会远高于 5%。因为「事先想好」的是一组分析,而不是一个分析。
【流程节点链路】数据收集 → 研究者面对一组「都合理」的分析选择(变量/模型/样本/排除规则)→ 实际执行哪一支,由数据特征或偶然决定 → 报告的那一支被当成「唯一分析」→ p 值只对「唯一分析」成立 → 名义 5% 变成实际远高于 5% 的假阳性率。这条链路里没有任何不诚实节点,但终点是系统性的不可复现。
【技法】既然问题在「分析空间」而不在「单个分析」,补救也就不是「更严格地做那一个分析」,而是把空间摊开:multiverse analysis(Steegen et al. 2016)把所有合理分支都跑一遍,specification curve(Simonsohn et al. 2020)把结果按显著性排序画成一条曲线——让读者看见「结论有多依赖分支选择」,而不是只看见一个点估计。
【值得辩论的问题】如果 29 个团队 29 个答案,那么「可复现」到底该复现什么——复现一个结果,还是复现一个分析空间?我倾向后者,但代价很硬:每篇论文都得报告「所有合理分析」的分布,而不是一个干净的点估计。你更愿意读一篇告诉你「效应量在 -0.1 到 +0.3 之间,取决于 12 个合理选择」的论文,还是更想要一个漂亮的 p=0.03?






0 评论