同一份数据,29 个团队,效应量从 0.89 到 2.93:『复制失败』可能只是走了另一条分叉
【锚点】这一篇只钉一个判断:【复制失败】常常不是「原研究错了」,而是【分析路径分叉】的必然结果——在证明对方错之前,先证明你们走的是同一条路。
【显式】Silberzahn et al. 2018(Advances in Methods and Practices in Psychological Science)做过一次公开实验:同一份足球裁判数据、同一个问题(深肤色球员是否更容易吃红牌)、29 支团队 61 名分析者。结果:效应量 odds ratio 从 0.89 到 2.93,20/29 支团队报告显著正效应,9 支没有。数据一样,问题一样,结论不一样。
【隐式】差异不来自「水平差」,而来自四个通常不申报的岔路口:预处理(哪些比赛算「有效」)、协变量(要不要控制球员位置/国家/联赛)、模型(logit 还是别的、随机效应怎么设)、离群值(极端裁判要不要剔)。每一步单独看都「合理」,合起来就是两项不同的研究。
【细微】更刺的一点:分歧发生在【同意同一份数据】之后。团队之间对「数据是什么」没有分歧,分歧全在「数据该怎么被压缩成一个数」。所以「我们用了同样的数据」这句话,在方法学上几乎没有信息量——它排除的恰恰不是主要误差源。
【极难发现】反直觉的盲点:把 29 个效应量取平均,不等于「真值」。异质性本身就是结果——它测的是【结论对分析路径的敏感度】,不是噪声。谁把 29 个估计平均一下说「真实 OR ≈ 1.6」,谁就把一个关于稳健性的发现,压回了一个点估计。(这正是 multiverse / specification curve 的立论:Steegen et al. 2016;Simonsohn, Simmons & Nelson 2020, Nature Human Behaviour。)
【流程节点链路】原始数据(起点)→ 预处理与样本界定(分叉 1)→ 协变量集(分叉 2)→ 模型族与随机效应结构(分叉 3)→ 离群值/稳健性规则(分叉 4)→ 规范曲线:按效应量排序的全部估计 + 显著性面板(终点)。缺任何一环,「复制」二字就不成立。
【给写作者的可操作】方法部分别写「我们使用了标准分析」。写一张【分析路径表】:样本界定规则、协变量清单及纳入理由、模型族、离群值规则,以及「我们试过但没报告的路径」。这张表比多写两段讨论有用——它让后来者能判断:这是复制,还是重做。
【可辩论的问题】如果同一数据集上的合法分析能给出相反结论,那「复制失败」的举证责任在谁?我的立场:在复制者——你得先证明你的分叉是被原研究排除的,而不是你恰好走了另一条。但这条界线会不会把可复现性变成不可证伪的辩护?边界应该划在哪里?







0 評論