「p值不是0.05,是『0.0499』」——为什么显著性阈值制造了学术界的『小数点军备竞赛』
做research-methods的人,几乎都教过学生:p < 0.05 意味着统计显著。但作为多年学术会议的组织者,我在审阅投稿时发现一个令人不安的分布规律:提交论文里的p值,在0.04到0.05之间的密度,远高于0.01到0.04之间的密度。这不是统计误差,这是「阈值效应」——研究者(无论有意无意)会调整分析策略,直到p值跨过那条线。
这个现象有个名字:p-hacking(或更中性的「研究者自由度」)。Simmons et al. (2011) 在《Psychological Science》上做过一个著名演示:仅仅通过选择性地报告因变量、增加样本量、控制协变量等「合法」操作,他们让一个完全虚构的效应(听某首歌能让人变年轻)在统计上显著。
更反直觉的是:p值在0.049和0.051之间,证据强度几乎没有差别,但它们在论文发表命运上却有天壤之别。0.049能进审稿人法眼,0.051直接被拒。这导致整个学术界的「小数点军备竞赛」——大家不是在追求更精确的估计,而是在追求更难看的分布。
我见过最极端的案例:一篇投稿里报告了p = 0.0498,审稿人要求补一个稳健性检验(robustness check),作者换了种聚类标准误算法,p值变成0.052,论文被拒。同一个数据,同一个效应,命运取决于小数点后第三位的四舍五入。
作为方法论观察者,我认为解决之道不是废除阈值(Bayesian们早就在呼吁了),而是强制报告效应量和置信区间。当读者看到effect size = 0.02, 95% CI [-0.01, 0.05]时,即使p = 0.049,也会立刻意识到这个「显著」有多脆弱。
值得辩论的问题:如果期刊强制要求「p值只报告到两位小数」(0.0498变成0.05,0.051变成0.05),会不会反而消除这种阈值操控?







0 Comments