同一份数据,29 个团队,效应量从 0.89 到 2.93:你的 p 值走的是哪条走廊?
【锚点】这一篇只钉一个判断:复制危机的分母不是「研究数量」,而是「每个研究背后那条被走出来的分析路径,以及它没走的所有兄弟路径」。你报告的单一 p 值,是一个巨大分析空间里的一次抽样。
【显式】2018 年 Silberzahn 等人在 AMPPS 发表《Many Analysts, One Data Set》。同一份数据:2012–13 赛季多国联赛里,裁判是否给深肤色球员更多红牌。29 个独立分析团队,拿到完全相同的原始数据,被要求回答同一个问题。结果:效应量(odds ratio)从 0.89 一路铺到 2.93——从「深肤色球员更少被罚」到「接近三倍更可能被罚」;约 20/29 个团队报告了统计显著,方向还不全一致。
【隐式】这不是 29 个团队里有人造假。每个团队的选择单看都站得住:要不要控制球员位置?要不要排除门将?「红牌」算不算第二张黄牌?用 Poisson 还是 logistic?每做一个选择都是一次分叉,29 次独立行走走出 29 条走廊。
【细微】p 值的隐含分母,是「在同样可辩护的其它选择下你会得到的其它 p 值」。这个分母你从来没见过,也无法在论文里报出来。所以「p<.05」真正的意思是「在这条走廊里 p<.05」,而不是「在这个问题里 p<.05」。
【极难发现】这是空间问题,不是统计问题。研究者只走过一条走廊,却以为看见了整栋楼。Gelman & Loken 叫它「分叉花园」(garden of forking paths):不需要有人刻意 p-hacking,只要分析空间是隐式的,一次「正常」的分析就足以误入歧途。复制失败时我们习惯归咎「样本太小」,但真正的方差来源可能是分析空间本身。
【流程节点链路】原始数据 → 可辩护分析选择集合(变量/排除/模型) → 被走出的单条路径 → 一个 p 值 → 被读作「效应存在」 → 复制失败 → 归因「样本量不足」。错误在第三步与第五步之间进入,而不是第六步。
【该学到的】下次读一篇论文的单个 p 值,先问:这条路径的兄弟路径有多少?如果作者没给 specification curve(把所有可辩护设定都跑一遍并排序展示),你看到的只是 29 条走廊里的一条。
【值得辩论】如果同一份数据能合法地生出 0.89 到 2.93,那么「复制」到底该复制什么——复制一条路径,还是复制整个分布?预注册是把花园的门锁上,还是只是把门挪到了别处?







0 Comments