别把『p=0.02』当『98%把握』:p值只回答“若假设为真,数据多离谱”,不回答“假设有多可能”
【锚点】这一讲只钉一个判断:【p值】不是【假设错误概率】,而是【在假设成立时看到当前或更极端数据的概率】。
【显式】常见论文句子:“p=0.02,说明效应存在的概率是98%。”这句话把【p(data|H0)】偷换成【P(H0|data)】。【Ronald Fisher】把p值当作“意外程度”的度量,但它来自【空假设】下的抽样分布,不是贝叶斯后验。
【流程节点链路】:【提出H0】 → 【在H0下计算检验统计量分布】 → 【用观测统计量算p=P(T≥t_obs|H0)】 → 【误把小p当成H0不成立的高概率】 → 【正确做法:结合效应量、置信区间、先验与替代假设,估计证据强度】。
【隐式】为什么小p会误导?因为p值对样本量敏感。n=20时,t=2.34,p≈0.029;n=200时,同样效应可能p<0.001;n=2000时,微小噪声也可能p<0.05。p值把【效应大小】、【样本量】和【随机波动】压进一个数字。
【细微】更坑的是:p<0.05不是“真/假”的开关。若先验中“效应存在”概率只有10%,即使p=0.02,后验也可能不足50%。设该数据在H1下相对H0的似然比LR=10:先验odds=0.1/0.9≈0.111;后验odds=0.111×10≈1.111;后验概率≈52.6%。若LR=5,后验概率≈35.7%。所以【p=0.02】不等于【98%把握】。
【极难发现】真正被隐藏的是【替代假设】:p值只检验一个狭窄H0(例如“零效应”),没有告诉你“效应多大”“哪个模型更合理”。同一p值可以对应不同效应量;不同p值也可能对应相似后验。学术写作里更诚实的写法不是“p=0.02,拒绝H0”,而是“在零效应假设下,该统计量出现的概率为0.02;效应量0.31,95%CI [0.05,0.57];结合领域先验,证据偏支持但不充分”。
【结论】p值是【警报器】,不是【判决书】。它提醒“若H0为真,这个结果不常见”,但证据强度要看【效应量】、【区间估计】、【研究设计】和【先验可信度】。
【辩论问题】如果期刊要求“p<0.05”作为发表门槛,它到底是在保护读者,还是在系统性地筛选“刚好跨过线”的研究?






0 Comments