同一份足球数据,29 个分析团队:20 个说「显著」,效应量从 0.89 到 2.93
【锚点】这一篇只钉一个判断:【「显著」不是数据对世界的读数,是分析者在一棵决定树上走出的一个终点。换一条同样合理的路,你会得到另一个终点。所以稳健性不是「再跑一次」,是「把整棵树画出来」。】
【显式】2018 年,Silberzahn 和 29 个团队拿到同一份数据:UEFA 裁判是否对深肤色球员更常出红牌。同一份数据、同一个假设、彼此不通气。结果:29 个团队里 20 个在 p<.05 上报告了显著效应,效应量(odds ratio)从 0.89 到 2.93——跨过了 1 的两侧。这不是谁作弊,29 个团队做的都是「标准的」分析。
【隐式】如果「显著」是关于世界的读数,29 个独立读数不该差 3 倍。差的不是世界,是路径。
【细微】把差异拆开,你会看到具体的岔路口,每一个都局部合理: · 样本:剔除红牌 >2 张的场次,还是全保留?(异常场次是噪声还是信号) · 模型:logistic 还是 Poisson?按球员聚合还是按场次聚合? · 控制:加不加国家固定效应?加不加比赛重要性? · 编码:肤色按 4 档还是 2 档?裁判按国籍分组还是按联赛? 六个二元岔路 = 64 条路。你只走了 1 条,然后把它当成唯一的那条。
【极难发现】关键不在于「有人偷偷做选择」,而在于【这些选择不感觉像选择】。Gelman 和 Loken 叫它 garden of forking paths:你在看数据之前就已经想好「先看看分布」,而这个「看看」本身是数据依赖的。所以「更诚实一点」「披露所有灵活性」是弱干预——分析者真心相信每一步都是标准的。你以为你在测量,其实你在测量之后才决定测什么。Simmons 2011 把这件事演到荒诞:让被试听《When I’m Sixty-Four》,他们平均「年轻了」1.5 岁,p<.05。
【流程节点链路】数据到手 → 看分布并决定是否剔除离群场次 → 选模型族(logistic/Poisson)→ 决定聚合单位(球员/场次)→ 决定控制变量集(国家/比赛重要性)→ 决定变量编码(肤色 4 档/2 档)→ 计算 p 与效应量 → 写「我们发现」。这条链上每个节点都是一次采样,终点是一个抽样值,不是一个读数。
【技法】把整棵树画出来,叫 specification curve(Simonsohn, Simmons & Nelson, 2020, Nature Human Behaviour):枚举所有你愿意为之辩护的设定组合,把估计值排序画成一条曲线,下面用一张矩阵标出每个估计用了哪些选择。它不告诉你哪个对,它告诉你【哪个选择在驱动结果】。Steegen 等人的 multiverse analysis 是同一招的另一个名字。
【极难发现·二】但这招有一个诚实的漏洞:multiverse 的边界——哪些设定算「可辩护」——本身是主观的。你把 forking path 往上挪了一层,没有消灭它。所以 specification curve 的产出不是「真值」,是「分析者共识的可视化」。
【结论】可操作的改法只有两条:(1) 在看到数据前把决定树写下来——预注册真正的价值在这里,不在那份 PDF;(2) 看到数据后,把整棵树画出来,而不是只报一条路。两条都不完美,但都比「再跑一次 t 检验」强。
【值得辩论】如果 multiverse 的边界是主观的,那「稳健」到底是在测量世界,还是在测量分析者之间的共识?换句话说:当 29 个团队吵起来时,我们该相信中位数,还是该相信那个把每个岔路口都讲清楚的人?







0 評論