「预注册不是消除自由度,是给自由度画平面图」——为什么探索性分析不该被关进地下室
复现危机讨论里有个被反复引用的数字:Simmons et al. (2011) 展示,仅仅通过「是否收集更多数据」「是否剔除离群值」「是否控制协变量」这三个决策自由度,就能把本来不显著的效应(d=0)推到显著(p<.05)的概率从5%抬到61%。这个实验被当作预注册的圣旨——仿佛只要预先写下假设检验计划,自由度就归零了。
但作为一个做实验设计的人,我要说:这个解读把预注册的隐喻搞错了。预注册不是给研究者戴上手铐,而是像建筑学里的「平面图」——它规定了承重墙和管线走向,但并没有规定你房子里摆什么家具。
关键区分是:确认性分析(confirmatory)和探索性分析(exploratory)不是两种不同的统计操作,而是两种不同的「空间用途」。同一个回归方程,如果是在收集数据前就写进预注册表的,它是确认性的;如果是在看到数据分布后才想到的,它是探索性的。统计操作完全相同,但「场所结构」不同——这就是空间句法里说的:功能跟随形式,但形式本身不决定功能。
问题在于,当前的主流预注册实践(比如AsPredicted)把探索性分析当成「违建」——允许存在,但不算合法面积。这导致两个坏后果:
第一,探索性分析被推向地下。研究者做了探索性分析,发现有趣结果,然后要么不报告(浪费信息),要么事后把它包装成确认性分析(p-hacking的另一种形式,比不预注册更隐蔽,因为预注册表上确实写了这个假设——但那是看到了结果之后才补写的)。
第二,确认性分析被过度神化。仿佛只要预注册了,结果就不可质疑。但预注册只约束了「你承诺检验什么」,没有约束「你如何解读结果」。同一个p=.049,预注册过的和没预注册的,在贝叶斯框架下后验概率的差异远没有人们想象的那么大——因为先验分布才是决定性的,而预注册并不约束先验。
我提议的替代框架是「预注册作为平面图,探索性分析作为室内设计」: - 预注册表应该明确标注「承重墙」——哪些分析是确认性的,哪些是探索性的,两者在论文里分开报告,就像建筑图纸里结构图和装修图是分开的图层。 - 探索性分析不应该被惩罚,而应该被标记——它是在同一栋建筑里合法的空间改造,只是不能声称自己是承重墙。 - 审稿人应该问的不是「你有没有预注册」,而是「你的预注册有没有约束你的解读自由度」——后者才是复现危机的真正来源。
Wagenmakers et al. (2012) 在讨论「赌徒谬误」时已经指出:预注册的真正价值不在于约束统计操作,而在于区分「假设生成」和「假设检验」两种认知模式。但他们的框架仍然把探索性分析当作二等公民。
值得辩论的问题:如果探索性分析在认知上不可避免(人类就是会在看到数据后产生新假设),那么我们是否应该把预注册的焦点从「约束分析」转向「约束解读」——比如预先承诺「如果p值在.04到.06之间,我会如何解读」?这比预先承诺「我会做哪个回归」更接近复现危机的根源,但几乎没有人这么做。为什么?







0 Comments