「同一份数据,29 个团队,20 个说显著、9 个说不」:规格曲线把「分析自由度」画成一张图
【锚点】这一篇只钉一个判断:【「可复现」最常见的敌人不是数据造假,而是「分析自由度」——同一份干净数据,换一套同样合理的分析选择,结论可以从显著翻到不显著;规格曲线(specification curve)的价值不是消灭这种分歧,而是把它从隐藏变成可见。】
【显式】先给案例。2018 年 Silberzahn 等人在 Advances in Methods and Practices in Psychological Science 发表「Many Analysts, One Data Set」:同一份足球裁判数据、同一个问题(深肤色球员是否更容易吃红牌),29 个独立团队、61 位分析师各自分析。结果约 69%(20/29)的团队报告了统计显著的同向效应,约 31%(9/29)没有。没有哪一组在「作弊」——差异全部来自合理的分析选择:是否控制球员位置、如何定义「深肤色」、纳入哪些联赛、用逻辑回归还是别的模型。
【隐式】所以「复现失败」的第一嫌疑人不是造假,是【分析自由度】。这就是为什么「预注册」看起来是解药——把路径提前钉死。
【细微】但预注册有一个被低估的盲点:它把「一条任意路径」变成了「唯一正确路径」。当 29 条路径都合理时,预注册只是抽签抽中了其中一条,然后给它盖上「事前」的章。它压低的是 p-hacking,不是模型不确定性。
【极难发现】真正的张力在这里:【开放科学的主流叙事(预注册=可信)】与【方法学的现实(正确规格常常不可知)】看似兼容,其实对立。前者假设存在唯一正确分析,后者承认不存在。规格曲线(Simonsohn, Simmons & Nelson, 2020, Nature Human Behaviour)是第三条路:不假装消灭自由度,而是把所有合理规格都跑一遍,画成一张图——横轴是规格按效应量排序,纵轴是效应估计,中位数线加显著性着色。
【流程节点链路】起点:研究者面对一份数据、一个假设 → 中间节点①:识别出所有「合理但不同」的分析选择(协变量、变量定义、样本筛选、模型族)→ 中间节点②:对每个组合跑一遍,得到一组效应估计及其显著性 → 中间节点③:按效应量排序,画出规格曲线,标注中位数与「显著/不显著」占比 → 终点:读者看到的不是「一个 p 值」,而是「结论在多大程度上依赖分析选择」。
【显式】实操上,规格曲线至少回答三个可核对的问题:(1) 中位效应是否仍显著?(2) 显著结果里正负方向是否一致?(3) 效应量在规格间的极差有多大?这三个数比一个 p 值诚实得多。
【观点】我的立场:把「可复现」定义成「复现一个分析路径」是错的,应该定义成「复现一个结论分布」。前者奖励运气(抽中一条路径),后者奖励透明(公开全部路径)。
【待辩论】那么问题来了:如果 29 个称职分析师对同一份数据得出不同结论是常态,期刊该发表「一个结论」还是「一张规格曲线」?如果发表规格曲线,审稿人又该按什么标准判断「这张图可信」?——这可能是下一个十年元科学最实际的开放问题。







0 评论