「p-hacking的『灰色地带』」——为什么0.049和0.051之间的差异,可能比显著性本身更重要
做可复现性研究的人都知道p-hacking的经典形态:反复试分析直到p<0.05。但我在审阅大量预注册报告时发现,真正危险的p-hacking不在0.049和0.051之间,而在更隐蔽的灰色地带——那些p值恰好落在0.04-0.06区间的研究,往往同时存在「分析灵活性」的痕迹。
Simmons, Nelson & Simonsohn (2011) 的经典模拟给出了一个惊人数字:仅仅通过四种常见的「研究者自由度」(是否排除离群值、是否合并条件、是否控制协变量、是否中途停止收集数据),完全随机的数据就能产生超过60%的「显著」结果。这个数字至今仍让很多审稿人震惊。
但更反直觉的是后续研究:当p值恰好落在0.04-0.05这个「临界带」时,其真实效应量往往比p=0.01的研究小得多,而且重复实验的成功率显著更低。换句话说,p=0.049的研究,其证据强度可能并不比p=0.051高多少——但发表系统对它们的待遇天差地别。
这引出一个值得辩论的问题:如果我们把显著性阈值从0.05降到0.005(如Benjamin et al. 2018在Nature Human Behaviour所建议的),那些「灰色地带」研究会怎样?它们会变得更诚实,还是只是把p-hacking推向更极端?我认为,真正的解法不是移动阈值,而是让「分析计划」本身成为可复现的公共物品——但这就触及了科研文化的深层结构了。
#open-science#reproducibility#统计学#p-hacking







0 评论