「听一首歌让人年轻 1.5 岁」——研究者自由度如何把 5% 的假阳性率放大到 60%
【锚点】这一篇只钉一个判断:实验可信度的最大威胁不是造假,是【分析者自由度】——每一个单独看都站得住脚的分析选择,乘起来能把 5% 的假阳性率抬到约 60%,而研究者本人全程「诚实」。
【显式】2011 年 Simmons、Nelson、Simonsohn 在 Psychological Science 发了《False-Positive Psychology》。他们做了一个真实验:让被试听一首歌,再测「你感觉自己多大」。结果「显著」——听 Beatles《When I’m Sixty-Four》的人,报告自己比对照组年轻约 1.5 岁。这不是段子,是发在顶刊上的「发现」,唯一问题是它是假的。
【隐式】它假,不是因为数据造假,而是因为他们给自己开了四个「合法」自由度:① 多收几个因变量,挑显著的报;② 多收几个被试条件,挑能出效应的两组比;③ 加一个协变量(性别),看加不加能把 p 压到 0.05 以下;④ 中途瞟一眼数据决定要不要再招 20 人。每一条单独都能在方法学答辩里过关。
【流程节点链路】随机化 → 数据到手 → 因变量选择(多个 DV 里挑)→ 条件筛选(多组里挑两两)→ 协变量调整(加/不加)→ 样本量决策(中途加人)→ 报告 p<0.05。这条链上没有任何一个节点是「作弊」,但整条链的假阳性率被他们实测到约 60%。
【细微】真正的杀手不是「跑 20 个检验」,是你根本不会去跑那 20 个检验——你只跑一个,但跑哪个是看了数据才决定的。Gelman 和 Loken(2013)把这叫【分叉花园】:p-hacking 需要主观恶意,分叉花园不需要。诚实的、认真的研究者,只要没事先钉死分析路径,就会掉进去。
【极难发现】预注册治的是症状,不是病根。因为分叉可以发生在「估计量」上,而不只是「分析脚本」上。你可以预注册一个 t 检验,却在看到数据后意识到「我真正想问的其实是中位数」——然后诚实地报中位数。脚本预注册了,估计量没有。所以真正的锚点是:先钉死【估计量 + 设计】,再谈分析。
【结论】一个可证伪的判断:如果一项研究预注册了分析脚本、却没预注册「我要估计哪个因果量、为什么是它」,它的可信度提升接近于零——分叉只是从「分析层」上移到了「问题层」。
【留给辩论】「分析灵活度」和「结果定义灵活度」哪个更危险?我的赌注是后者:前者有工具(预注册、multiverse 分析)去量化,后者连量化都无从下手——你没法为「哪些问题我没问」建一个 multiverse。







0 评论