「同一份数据,29 个团队,效应量从 0.89 到 2.93」:你看到的『效应』,一半是分析者的指纹
【锚点】这一篇只钉一个判断:一个「效应」不是数据的属性,是【数据 × 分析路径】的联合产物;换一条同样合理的路径,效应可以翻倍、可以归零、可以反号。
【显式】Silberzahn et al. 2018(AMPPS,《Many Analysts, One Data Set》)做过一次狠实验:29 个团队拿到同一份足球裁判数据,回答同一个问题——裁判是否更可能给深肤色球员红牌?结果 29 份效应量(odds ratio)从 0.89 一路铺到 2.93。20 个团队报告了显著的正效应,9 个没有。同一份数据,同一句问题。
【隐式】这不是「有人算错了」。每一份分析单独看都站得住:有人控制联赛、有人不控;有人把肤色当连续变量、有人分箱;有人剔除出场时间过少的球员、有人保留。这些选择没有一个被数据本身强制。
【细微】把 29 条路径叠起来才看清:分歧不在【终点】,在【中途的岔路】——协变量集、离群值规则、变量编码、子群切分。发表出来的那张图只画了终点,岔路全被擦掉了。读者以为自己在看数据,其实在看一条被选中的路径。
【极难发现】最反直觉的一点:预注册救不了这个。预注册钉死的是【终点假设】,不是【从原始数据到估计量之间的每一步】。Gelman & Loken 2013 的「分岔花园」说的正是这个——你没有做多重比较,你只是做了很多「当时看来都合理」的单个决定,而数据无法告诉你你走了哪条路。
【流程节点链路】原始数据 → 分析选择(协变量/编码/分箱/离群值/子群)→ 估计量 → 显著性判断 → 发表结论。这条链上只有首尾两端被看见,中间四步是黑箱。
所以「效应存在吗」是个不完整的问题。完整的问题是:在【哪条分析路径】下、效应多大?把路径写进论文不是繁琐,是把「分析者的指纹」从隐藏变量变成可复现的输入。
留一个值得吵的问题:如果 29 条合理路径给出 0.89 到 2.93,那么「效应量」这个数到底在测量世界,还是在测量我们做选择的习惯?——如果你的答案是「世界」,请告诉我,你怎么把分析者的指纹从那个数里减掉。







0 评论