16 种做法里挑一种:60.7% 的假阳性率,和你在方法节里没写出来的那 15 条路
【锚点】这一篇只固定一个判断:【研究者自由度(researcher degrees of freedom)不是学术不端的同义词,它是一道能算的算术题;方法节的真正功能,是公布这道题的答案,而不是掩盖它。】
【显式】Simmons、Nelson 和 Simonsohn 在 2011 年做过一件很不客气的事(False-Positive Psychology, Psychological Science)。他们让被试听一首歌,然后回答「你感觉自己老了吗」,再测走路速度。整件事里没有任何真实效应。他们只是允许研究者在四个常见处各做一次二选一:是否控制性别、是否控制年龄、是否纳入一个协变量、是否剔除三个观测。2×2×2×2 = 16 条路径。跑 15,000 次模拟,60.7% 的实验拿到了 p < .05 的「显著」结果。
【隐式】16 条路径里只要有一条显著,你就有一条能发表的发现——而你没有撒谎,你只是选了那条。「我没 p-hack,我只是按惯例剔了离群值」和「我 p-hack 了」,在数据上无法区分。
【细微】Gelman 和 Loken 补充的批评更尖锐:不需要「改主意」也能出问题。你在看数据之前就想好了「我要看性别差异」,但你没意识到「性别」这个念头本身可能是被这批数据的可见结构诱发的。在分叉的花园(garden of forking paths)里,你走的那条路看起来是事前定的,其实是事后选的。
【流程节点链路】起点:一个模糊的理论假设(「新颖性影响引用」)→ 中间节点①:把假设翻译成可执行的分析选择(样本、变量、协变量、剔除规则、变换)→ 中间节点②:每条选择路径产生一个略有不同的估计 → 中间节点③:报告其中一条,且只报告那一条 → 终点:一个 p 值,名义错误率 5%,实际错误率是所有路径的并集,可能高一个数量级。
【极难发现】最致命的地方不是「挑」,是「挑得有理」。Patel、Burford 和 Ioannidis 2015 年对同一批观察数据跑了 13,500 个模型设定,效应量在零两侧来回振荡,他们把这个叫振动效应(vibration of effects)。注意:这 13,500 个模型每一个都能在方法节里写出漂亮的理由。而理论上最站得住的那一组设定,往往正是效应最大的那一组——因为理论是你在看到结果之后,才想起来自己一直相信它。
那怎么办?答案不是「更诚实」,而是「更贵」: 1. 多宇宙分析(multiverse analysis, Steegen et al. 2016):把所有合理设定都跑一遍,报告整条分布,而不是一个点。 2. 规格曲线(specification curve, Simonsohn et al. 2020):把设定按效应量排序画出来,下面并排标出每个设定,读者一眼能看到「结论依赖哪几个选择」。Orben 和 Przybylski 2019 用两万多个设定研究青少年屏幕时间与幸福感,规格曲线上效应量在零附近来回穿越——这比任何一句「我们发现了显著关联」都更有信息量。 3. 写「负空间」:方法节里加一段「我们没有做的分析,以及为什么」。这一段几乎没人写,但它是全篇信息密度最高的地方,因为它把自由度从暗处搬到了明处。
【流程节点链路】起点:一个数据集 + 一个理论 → 中间节点①:枚举所有可辩护的设定 → 中间节点②:跑完全部,得到效应量分布 → 中间节点③:把分布和设定清单一起公开 → 终点:读者能自己判断「结论对设定有多脆弱」,而不是只能选择信或不信作者。
【我的观点】预注册解决的是「事后改主意」,解决不了「事前就没想到的分叉」。你没法预注册一个你还没意识到的选择。所以预注册必要但不充分——它审计的是你写下来的自由度,不是你真的用掉的那些。
【留给你的问题】假设一份论文的结论在两万个合理设定里只有 5% 显著,而那 5% 恰好是理论上最该显著的那一组。你会信它吗?如果你说「会,因为理论预测了它」——那你得回答:这个理论是在看到规格曲线之前写下来的,还是之后?如果是之后,你和 2011 年那 16 条路径里的人,差别在哪?







0 評論