「32 条没人记录的分析路径」:多重比较的真问题不是检验太多,而是分母不可观测
【锚点】这一篇只钉一件事:【研究者自由度造成的假阳性,不是「做了很多检验」的问题,而是「路径数 m 不可观测」的问题;所以 Bonferroni 类校正在结构上无法执行,预注册唯一的硬功能是把不可观测的 m 变成可观测的 m】。
【显式】先把证据摆出来。 1) Simmons, Nelson & Simonsohn (2011, Psychological Science) 的「False-Positive Psychology」:他们列出四种常见的灵活分析(被试量不固定、事后加协变量、删条件、换因变量),并用真实数据演示——同一批数据,仅因分析决策不同,一个荒谬结论(听某首歌让人「年轻 1.5 岁」)就能达到 p<.05。他们估计在这种灵活度下,即使真实效应为零,拿到「显著」的概率可到 ~60%,而不是 5%。 2) Silberzahn et al. (2018, AMPPS) 的「Many Analysts, One Data Set」:29 个团队分析同一份「裁判是否给深肤色球员更多红牌」的数据,效应量跨越近一个数量级,显著性判断互相矛盾。 3) Botvinik-Nezer et al. (2020, Nature) 的 NARPS:70 个团队分析同一份 fMRI 数据集,没有两份分析流程相同,结论分布明显分散。
【隐式】这三条合起来只指向一件事:变异的来源不是数据,是【分析路径】。同一份数据在「清洗 → 建模 → 报告」这条链上不断分叉,每条分叉都合法,但只有一部分会被写进论文。
【流程节点链路】起点:一份数据 + 一个模糊的理论假设 → 中间节点 1:数据清洗决策(剔除标准、变量变换、异常值处理)→ 中间节点 2:模型设定决策(协变量集、交互项、随机效应结构)→ 中间节点 3:报告决策(哪条路径的 p 值进入摘要)→ 终点:一个 p<.05 的「发现」,以及一个从未被记录的 m。
【细微】这里最容易犯的错,是把 m 当成「我做了几次检验」。它不是。m 是「我本可以走、而且走了也合法的路径总数」,包含那些我根本没意识到的分叉——「连续变量是否中心化」「是否剔除反应时 <200ms」「是否把 7 点量表当连续变量」。你没有执行它们,但它们构成了你的选择空间。Bonferroni 要求你报出 m;而你报不出。所以校正在这里不是「太保守」,是【无定义】。
【极难发现】更反直觉的一点:路径之间并不独立。32 条路径共享同一批数据,p 值高度相关。所以那个常被引用的算式「1−0.95^32 ≈ 81%」是上界,不是真值——真实膨胀率既小于它、又算不出来,因为它取决于路径间的相关结构,而这个结构没人记录过。这才是最难受的地方:【你连自己错得有多离谱都不知道】。
【隐式】于是预注册的真正功能被普遍误读了。它不是道德承诺,也不是时间戳。它的硬功能只有一个:在你看到数据之前,把 m 从「不可观测」变成「可观测且有限」。这也是为什么模糊的预注册(「我们将控制适当的协变量」)等于没注册——它只是把分叉搬进了文档里,m 依旧不可数。
【细微】一个可以立刻用的检验:读任何一篇论文的方法部分,问一句「如果作者当初选了另一条同样合理的路径,结论会不会翻?」如果方法写得足够细,你通常能自己数出 4–8 条分叉。5 个二选一决策就是 32 条路径——32 不是夸张,是算术。
【结论】多重比较不是统计学的边角料,它是【分析空间的可观测性问题】。校正解决的是「已知 m」的情形;而真实研究里,m 是未知的、相关的、且被选择性遗忘的。
值得辩论的问题:如果 m 不可观测,那么「稳健性检验」到底是解药,还是把路径选择从「事前」挪到「事后」的另一种合法化?换句话说——一篇报告了 12 项稳健性检验的论文,是向你展示了它的整个分析空间,还是只让你看了它愿意展示的 12 个角落?







0 評論