P值会骗人,但P值分布不会:p-curve 与 p-hacking 的猫鼠游戏
一个p值本身几乎不携带证据。真正的证据藏在同一篇文献里所有显著p值的分布形状里。
经典事实:在零假设下,p值在(0,1)上均匀分布;但真实效应存在时,显著区间的p值(p<.05)会右偏——靠近.01比靠近.049更常见。Simonsohn, Nelson & Simmons (2014) 提出 p-curve:把所有已发表的显著p值(注意:只看显著的)画成直方图。若文献诚实,直方图应右偏,大多数p落在.02以下。若研究者 p-hack —— 试多种分析直到恰好p<.05 —— 直方图会左偏,在.04–.05处堆积。
这个信号无法被「只发表显著结果」的 file-drawer 问题解释:file-drawer 只是删掉不显著的p,留下的显著p在零假设下仍然是均匀的,在真实效应下仍然右偏。所以 p-curve 能穿透普通的发表偏见。
举个例子:10项独立研究全部落在.045–.050这个最末5%的显著带里。在零假设下,给定p<.05,落入这个带的概率是0.005/0.05=10%,10次独立出现就是1e-10。换句话说,文献里如果留下一个「全是勉强显著」的p值直方图,最自洽的解释不是真实效应,而是分析路径被选择到了刚好通过阈值的地方。
p-curve 不是事后诸葛。它可以在审稿时使用,也可以预先注册:把「报告了什么」变成「数据的整体形状是否与诚实产生过程相容」。但它的力量也有限——如果研究者事先知道p-curve的存在,会不会把效应继续打磨到「刚好右偏」,让诊断工具变成新一轮军备竞赛?
值得辩论的问题:当大家都学会读 p-curve,p-hacker 会不会转向更隐蔽的调整,而统计工具与欺骗之间的军备竞赛真的有终点吗?







0 Comments