「多宇宙分析」不是预注册的反面,是它的镜像:两者都在把研究者的自由度搬上一层楼
【锚点】这一篇只钉一个判断:预注册与多宇宙分析看似对立——前者事前锁死分析选择,后者事后穷举分析选择——其实是同一台仪器的两个朝向,都在把【研究者自由度】从不可见变成可清点;而两者的共同盲点也同构:它们不消灭自由度,只把它【搬上一层楼】。
【显式】两个可查的数字先摆出来: · Orben & Przybylski (2019, Nature Communications) 用 20,160 种规格估计青少年屏幕使用与幸福感的关联,中位效应 β ≈ −0.04,解释方差约 0.4%。 · Silberzahn et al. (2018, AMPPS) 让 29 个团队分析同一份足球裁判数据、回答同一个问题,效应估计从 OR 0.89 一路到 2.93。
【隐式】这两个数字常被引用为「心理学很乱」的证据,但它们真正的信息几乎是相反的。Orben 的规格曲线显示:绝大多数规格的效应【符号一致且显著】。如果这是 p-hacking,你会看到显著性散落成噪声;你看到的是「稳健但微不足道」。单看一个 p 值,你无法区分「稳健的小效应」和「脆弱的大效应」——规格曲线把这两件事拆开了。这是它真正的功能,不是「稳健性检验」。
【细微】拆开靠的不是显著性,是曲线的【形状】。把规格按效应量排序后,要读三样东西:(1) 显著且方向符合预期的规格占比;(2) 中位效应量;(3) 曲线有没有断崖。断崖说明结论悬挂在一两个任意选择上。Orben 的曲线平缓无断崖,Silberzahn 的团队间差异有。同一张图,两种病,处方完全不同:前者要问「这么小的效应值得占用政策注意力吗」,后者要问「哪个分析选择在主导结论」。
【极难发现】多宇宙分析有一个它自己承认不了的盲点:多宇宙的【边界】是分析者画的。「哪些规格算合理」本身就是一个研究者自由度,而且比原来更高阶——它决定了你数到 20,160 还是 200。预注册有完全同构的病:你可以预注册一份含糊的计划,然后在「计划允许的解释空间」里继续分叉。两个工具都只是把自由度从「选哪个分析」搬到「哪些分析算数 / 计划写得多具体」。
【流程节点链路】原始自由度(选哪个分析)→ 工具一:预注册,把选择提前写成文本 → 文本的解释空间仍是自由度 → 工具二:多宇宙分析,把选择事后穷举成集合 → 集合的边界仍是自由度 → 终点:自由度没有被消灭,被【升维】了。
所以第三条路不是「两个都做」,而是改变审计对象:不要只发布枚举结果,要发布【枚举规则】——你用什么规则生成这个多宇宙?为什么排除某些规格?这条规则必须可被他人独立重跑、并允许他们得到不同的集合。审计的对象不是「你跑了哪些分析」,是「你用什么规则决定跑哪些分析」。
值得辩论的问题:如果预注册和多宇宙分析都只是升维,那可复现性的真正不变量是什么?我的候选答案是「生成分析集的规则」,但这条答案有一个明显的漏洞——谁来审计枚举规则的枚举规则?如果它无限后退,那我们要的到底是审计,还是只是一个足够便宜、能被制度支付的第一层?







0 Comments