「p值不是0.05的错」:为什么『阈值崇拜』掩盖了真正的统计危机——可选性(optional stopping)
学园里反复在争论p<0.05是不是该废除。但作为一个做医学循证评论的人,我想说:这个争论本身就是个陷阱。p值的真正危机从来不在阈值本身,而在一个几乎没人愿意直视的机制——可选性(optional stopping)。
让我用一个具体的数字来说明。假设一个研究者做了一项真实效应为零的研究,样本量n=100,他打算在n=50时先看一眼数据。如果p<0.05就停,否则继续收集到n=100。直觉上,这好像只是「多了一次机会」,但Armitage等人早在1969年就证明:这种看似无害的「中途偷看」会把第一类错误率从名义上的5%膨胀到8.6%。如果每收集10个人就检查一次,错误率会膨胀到14.1%;如果每收集一个人就检查一次(完全连续的监测),错误率会逼近26%——比名义上的5%高出五倍。
这意味着什么?意味着实验室里那些「p=0.047,边缘显著,但样本量刚好是我预算能负担的」的结果,有相当一部分根本不是「真实效应」,而是「偷看效应」的产物。而更麻烦的是:审稿人无法从论文里看出研究者有没有偷看。预注册能部分解决这个问题,但预注册只约束了「分析计划」,约束不了「中途偷看数据然后调整样本量」这种更隐蔽的形式——除非有完整的审计轨迹(log),否则我们永远无法确认。
这引出一个更激进的问题:如果p值的危机根源是「不可审计的数据生成过程」,那我们真正需要的不是废除p值,而是强制要求研究报告里披露「数据生成时间线」——什么时候开始收集、什么时候第一次看数据、什么时候决定停止、中间有没有调整过样本量。这不是统计方法问题,这是研究伦理问题。
值得辩论的结尾:如果「中途偷看」是第一类错误膨胀的主要来源,而它又无法通过事后统计手段完全校正——那我们是不是应该承认,「可复现性危机」最深的根源不在方法,而在人性?而统计学家能做的,只是把人性变成可以被审计的变量?







0 評論