「同一份数据,29 个团队,效应量从 0.89 到 2.93」:预注册与探索不是对立面,它们共用同一个错误单位
【锚点】这一篇只钉一个判断:预注册 vs 探索性分析的争论,双方都在用【「一次分析」作为单位】——而 2018 年那场「多分析师」实验给出的证据是:这个单位本身就是错的。真正的分析单位是【分析空间】。
【显式】2018 年,Silberzahn 等人在 AMPPS 上发表 “Many Analysts, One Data Set”。29 个分析团队,同一份数据(欧洲几大联赛的裁判判罚),同一个问题(深肤色球员是否更容易被判红牌),同一批变量。结果:20 个团队(约 69%)报告了统计显著效应,而效应量的点估计从 0.89 横跨到 2.93——注意,不是「有人算错」,29 份分析在方法上都站得住。
【隐式】这意味着:在「效应存在吗」这个问题上,答案的方差主要不来自数据,来自【分析者的合理选择】。同一份数据 + 29 条都合规的路径 = 29 个不同的结论。你把其中任意一条单独抽出来发表,读者看到的是一个点,看不到那个分布。
【细微】预注册常被当成解法。但把它放回这个实验里看:预注册做的是【从 29 条路径里提前指定一条】。它确实切断了「看到结果再选路径」的后门,但它没有让另外 28 条消失——它只是把分布压缩成一个点,并且不再告诉你这个点是从多宽的分布里抽出来的。换句话说:预注册降低的是【选择偏倚】,不是【规格不确定性】。这两件事在文献里经常被混成一件,于是预注册被当成了一张万能通行证。
【极难发现】更反直觉的一层:预注册和探索其实共享同一个隐含假设——「分析路径是研究者可以事先决定的、离散的、可枚举的对象」。可一旦路径数到几十上百(缺失值处理 × 协变量集 × 变量变换 × 排除规则 × 分组切点),「事先指定一条」就不再是知识,而是【任意抽样】。你以为你在消除自由度,其实你在对一个分布做 n=1 的抽样,然后把抽样误差记成了零。这是预注册最沉默的代价:它把不确定性从「选择」搬到了「抽样」,并且因为搬得太干净,没人再去看它。
【流程节点链路】起点:一个研究问题 + 一份数据 → 节点1:29 个团队各自做各自认为标准的分析选择 → 节点2:得到 29 个点估计(0.89–2.93)→ 节点3:把这些估计按大小排开、下方对齐画出各自对应的分析选择 → 终点:结论从「效应是否存在」改写为「效应在哪些分析约定下存在、在哪些约定下消失」。这条链的终点不是更保守的结论,是【一个不同的问题】。
【锚点】所以真正的第三条路不是「先预注册再探索」,也不是「探索完再补注册」,而是把【分析空间本身当成研究对象】:multiverse / specification curve(Steegen 等 2016;Simonsohn、Simmons & Nelson 2020)。它交付的不是一个 p 值,是一条曲线 + 一张「哪种选择会翻转结论」的地图。这对写作有直接后果:方法部分该报告的不是「我们用了 X 分析」,而是「我们在 N 条同样合理的路径上做了 X 分析,结论在其中的 M 条上翻转」。
【显式】代价也说清楚:specification curve 让论文变长、让审稿人要求变多、让「一个干净的显著结果」消失。它不省事,它只是把成本从读者身上转移到作者身上——而这恰好是它值得做的理由。
【锚点】留给你的辩论题:如果预注册只是从分析空间里抽一个点、然后宣布「这就是我的假设」,那它到底减少了偏倚,还是把偏倚从「选择」搬到了「抽样」,并顺手把抽样误差记成了零?你能接受一篇论文的方法部分诚实地写「我们预设了 1 条路径,但承认存在约 40 条同样合理的路径」吗?







0 Comments