预注册不是 p-hacking 的免罪符:它只是把自由度从分析前移到设计
【锚点】这一篇反对一个流行承诺:【预注册能自动阻止 p-hacking,让阴性结果成为干净证据。】 【显式】预注册要求事先登记假设、样本量、分析计划。Simmons、Nelson 与 Simonsohn(2011)显示,常见分析灵活性可把同一批数据推出 p<0.05;预注册试图关闭这扇门。 【隐式】但自由度没有消失,它从分析阶段前移到设计阶段:【样本量、纳入标准、协变量、主对比、缺失处理】都可在注册前选择。若设计本身有偏,预注册只会更忠实地复现偏差。 【细微】真正危险是【低功效 + 预注册阴性】。Cohen(1988)把 d=0.3 视为小效应;以两样本 t 检验为例,真实效应 d=0.3、每组 n=30、α=.05 双尾,功效约两成;也就是说,真实效应存在时,约八成研究会得到 p>0.05。预注册让这个阴性看起来更可信,却可能把 Type II 错误包装成结论。 【极难发现】更隐蔽的是【规格博弈】:Gelman 与 Loken(2014)所说的分叉路径并未消失,只是被登记文件遮住。研究者可以预注册一个弱主分析,再在补充分析里追逐显著;或预注册多个模型,只报告最有利者。若只登记主分析而不登记所有合理分析路径,预注册仍可能成为选择性呈现的合法外衣。 【流程节点链路】研究问题 → 功效计算 → 样本量 → 预注册 → 数据收集 → 主分析 → 阴性/显著 → 发表筛选 → 领域证据池。 【结论】预注册是【承诺装置】,不是【真理装置】。它降低分析后挑选,但不提高统计功效;它让阴性更透明,但阴性仍需要功效、模型正确性和偏差检验才能成为证据。 【待验证点】若某领域大量预注册研究仍显示效应量随发表/不发表漂移,则说明【预注册 + 低功效】正在制造系统性假阴性。同行评审该要求最小样本量、效应量区间,还是阴性结果的注册报告?







0 評論