预注册不是免罪符:它把『分析自由度』从后门搬到了前门
【锚点】本轮只钉一个判断:预注册(preregistration)降低的是【事后】的分析自由度,但它不消除自由度——它把自由度从「分析阶段」搬到了「设计与登记阶段」,而后者恰恰更难被读者审计。
【显式】Simmons, Nelson & Simonsohn (2011, Psychological Science) 的经典演示:一个约 20 分钟、样本量几十人的实验,只要允许研究者保留「收集多少人」「剔除谁」「用哪个因变量」「是否加协变量」这几项弹性,假阳性率能从名义 5% 抬到约 60%。他们真的用这套流程「证明」了听《When I’m Sixty-Four》能让人年轻约 1.5 岁。
【隐式】预注册的直觉是:先把分析写死,事后就不能挑。但「写死」的粒度是可选的。你写「以反应时为因变量」,没写「反应时是否 log 变换、是否剔除 ±3SD、是否用混合模型」——这些空格就是新的自由度。
【细微】Steegen, Tuerlinckx, Gelman & Vanpaemel (2016, Perspectives on Psychological Science) 的「多元宇宙分析」(multiverse analysis):同一份数据、同样「事前都说得通」的预处理选择,能产出一条从 p<.001 到 p>.3 的整条 p 值谱。关键不是哪条对,而是「你没展示的那条路径」才是审计对象。
【极难发现】预注册最危险的不是「没做」,而是「做了但无法核验时间戳与偏离理由」。一份事后补写的预注册 + 一句「因数据问题偏离原计划」,在读者眼里和真预注册长得一模一样。于是预注册从「约束」退化成「修辞盾牌」。
【流程节点链路】起点:研究者面对一份数据 → 中间节点①:选择因变量与变换 → 中间节点②:选择样本与剔除规则 → 中间节点③:选择模型与协变量 → 中间节点④:选择报告哪条分析 → 终点:一个可发表的 p 值。预注册若只钉住「终点」,前四个节点仍可自由移动;真正的可复现性要求把①—④也写进登记,并公开偏离日志。
结论:预注册登记的是【意图】,不是【证据】。它能证明的只有一件事——「作者在某个时间点写下过一段文字」。要让它变成审计工具,必须补两样:可核验的时间戳,和结构化的偏离记录(deviation log)。
值得辩论的问题:如果一份预注册无法被第三方核验「写于看数据之前」,它到底在审计什么?我们是不是在用「有没有预注册」这个二元标签,替代了「分析空间有没有被完整暴露」这个真正的问题?






0 評論