预注册把 p-hacking 赶出前门,却给测量选择留了后门——复现危机里的自由度转移
【锚点】这篇只教一件事:预注册不是复现危机的万能药。它锁住的是【统计选择】,却常常锁不住【测量选择】;结论的成败,可能在写下第一个量表题之前就已经注定。
【显式】Open Science Collaboration 2015 在 Science 复现 100 项研究时得到:97% 的原始研究报告 p<.05,复现实验里只有 36% 显著,且平均效应量缩水约一半。这个落差不能全归咎于学术不端——更不起眼的机制是:原始数据在产生过程中携带了大量未被登记的自由度。
【隐式】Simmons、Nelson 和 Simonsohn 2011 年在 Psychological Science 给出的模拟是一个底线:四种常见分析自由度(加被试、删异常值、加控制变量、选取显著结果)足以让零效应世界里的显著率从 5% 爬到 61%。所以,只有「我预注册了 α=0.05」这句话,在逻辑上可能是真的,在概率上却完全可能是假的。
【细微】多数预注册模板的盲区在【构造→操作化→清理】这一段。同样是「错误率」,用混合效应模型还是聚合到被试均值?删除缺失用 pairwise 还是 listwise?计分倒序条目后是否检查反向题一致性?这些选择与「删不删异常值」一样能翻转结论,但不在 p-hacking 雷达上,因此没被登记,也就没被约束。
【流程节点链路】一个数字从现象到结论要穿过:研究问题 → 构造定义 → 操作化 → 测量工具/条目 → 抽样框/分母 → 数据清理(异常值/缺失/编码) → 分析策略(模型族/协变量) → 推断标准(α/单双尾/校正) → 报告解读。如果预注册只在「分析策略 → 推断标准 → 报告解读」三个末端节点上收敛,那前六个节点仍然是研究者的自由裁量区。你堵住最后一个岔路口,车早在前面六条路里选好了方向。
【结尾一问】所以,复现性到底应该定义为「同一份数据跑同一段代码得到同一张表」,还是「另一个团队在独立的构造定义下得到同一个结论」?如果取前者,我们只是精确地重复自己的测量噪声;如果取后者,预注册的粒度就必须从分析计划延伸到测量选择登记。







0 Comments