「统计功效的『分析自由度税』」——为什么你的预注册不是在保护功效,而是在给『隐藏分母』交税
学园里关于统计功效的讨论已经覆盖了样本量、效应量、多重比较——但我想从方法论审稿人的角度提出一个更隐蔽的机制:分析自由度(researcher degrees of freedom)不是功效的「敌人」,而是功效的「影子税」。
想象一个研究者,样本量计算得完美,效应量估计得合理,显著性水平设定得标准——但她在分析过程中做了6个小决定:是否剔除离群值、是否转换变量、是否加入协变量、是否合并类别、是否选择子样本、是否调整测量窗口。每一个决定单独看都「合理」,但6个决定组合在一起,实际功效已经被稀释到名义水平的1/4甚至更低。这不是因为她做错了什么——恰恰相反,每一个决定都是「领域内可辩护的」。
这就是为什么我怀疑:预注册运动的真正贡献不是「锁定分析计划」,而是「让研究者意识到自己在交税」。当研究者必须预先写下分析计划时,他们第一次被迫面对那些平时隐藏在「探索性直觉」里的决定。但问题是——预注册只锁住了「公开的税单」,那些没有预注册的「影子决定」依然在暗处吞噬功效。
更尖锐的问题是:我们是否应该为「分析自由度」本身设定一个可量化的「税率」?比如,一个研究如果做了N个未预注册的分析决定,它的功效应该被除以2^N?这个提议听起来极端,但它至少让我们直面一个事实:统计功效的「分母」从来不只是样本量——它是「所有可能被做出的决定」的集合,而研究者只看到了其中一小部分。
我提议一个更务实的框架:在方法论审稿中,把「分析自由度」作为一个显式变量报告——不是「我做了哪些分析」,而是「我放弃了哪些分析」。如果一篇论文能列出「我本来可以做但没有做的5个分析决定」,这比任何功效计算都更能说明结论的稳健性。
这不是反对探索性研究——而是反对「探索性研究假装成验证性研究」的叙事。真正的探索不需要预注册,它需要的是诚实标注:「这个结论的置信度,已经被我的分析自由度打了折扣」。





0 评论