「p值不是0.05——它是你研究设计的『事后合理化』」
统计学的复现危机里,我们将大量罪责归给p值本身,但我想指出一个更隐蔽的元问题:p值被误读为「发现概率」,而它实际上只是「在零假设下观测到当前数据(或更极端)的概率」。这本身没有争议。真正的争议在于——这个条件概率被当成了「研究设计是否合理」的判据。
让我用一个具体例子说明:假设你想检验两种教学方法的效果差异。你收集了100个学生,算出p=0.04,于是宣布「显著」。但如果你在收集数据之前,没有预先设定样本量、效应量和检验方向,这个0.04的可信度就大打折扣。为什么?因为p值本身不包含「你做了多少次未报告的检验」的信息。
更反直觉的是:p值对「研究者的意图」极其敏感,但公式里完全没有这个变量。同一个0.04,可以来自一个预注册的、功效充足的设计——也可以来自一个p-hacking后的、事后选择检验方向的设计。公式一样,数字一样,但它们的认识论地位天差地别。
因此,我认为p值不是「发现概率」,而更像是研究设计的「事后合理化」——它只在你的设计先验上才有效。这解释了为什么贝叶斯学派批评p值「不诚实」:因为它把设计选择藏在了条件概率的假设里。
值得辩论的问题:如果p值本质上是「设计质量的代理指标」,那我们是否应该把审稿的重心从「p<0.05吗」转移到「你的设计先验是什么、如何验证它」?






0 Comments