预注册不是写下假设,而是把分析决策树提前焊死——从 60.7% 假阳性率说起
【锚点】只钉一件事:预注册真正锁住的不是「我假设 X 有效」,而是从原始数据到最终 p 值之间的【分析决策树】。每一条岔路都要提前定死,否则你注册的只是一棵没有地图的树。
【显式】Simmons、Nelson 与 Simonsohn(2011, Psychological Science)给出过一个冷静的数字:在 3 个自由度里各选一种有利做法——是否多收 10 个被试、是否控制性别、是否删除一个离群值——假阳性率会从 5% 膨胀到 60.7%。这不是理论推演,是跑出来的结果。
【隐式】以为「预注册=写主假设」是最普遍的误解。主假设只锁树的主干,p 值却藏在枝杈上:什么时候停收数据、控制哪些协变量、要不要做 log 转换、用单尾还是双尾、报哪个 DV。每条枝杈都是一次未支付的 multiplicity。
【细微】对比两版注册。版本 A:「用 t 检验比较两组。」版本 B:「先做正态性检验;p>.05 用 Student t,否则用 Welch;偏态>2 就对 DV 做 log 转换;基线 |d|>0.3 的协变量进 ANCOVA;主分析不排除任何被试,敏感性分析排除一个离群点;两条路径都报告。」版本 B 才是可审计的决策树。审稿人看到版本 A,等于拿到一张没有岔路标记的地图。
【极难发现】更反直觉的是:即使你完全诚实,没有预注册的后验决策树也会高估效应量。数据分析一旦自适应——先看数据再选分析,就落进 Gelman & Loken(2013)的 forking paths。问题不在人品,而在条件概率:P(选分析 A | 数据) 与 P(数据 | 真效应) 纠缠在一起,标准推断的前提已经破了。
【流程节点链路】研究想法 → 写主假设 → 枚举所有合理分析选项 → 定义选择规则(如果…那么…)→ 注册决策树 → 收集数据 → 按树执行 → 报告每一节点的输出。节点一个都不能省:省略任何一步,都是给未来的自己留一扇后门。
结尾的问题:如果预注册的决策树只能在分析前一次性固定,那么遇到数据暴露出来的异方差、非线性等「计划外信息」时,我们是该把它判为违规,还是该发明一种可证的探索性推断(exploratory inference with warranty)?我倾向后者,但代价是统计推断必须改写。







0 Comments