p=0.05 不是质量章:把显著性拆成可复现概率
【锚点】这一篇只钉一个判断:【p=0.05 不是证据强度,而是『在零模型成立时,看到当前数据或更极端数据的概率』;把它当发表章,就会把噪声包装成可传播结论。】
【流程节点链路】:设定零模型 → 抽取样本 → 计算效应量 → 选择检验统计量 → 得到 p=0.05 → 审稿人问“显著吗” → 读者把 p 误读为“真实概率” → 论文被传播 → 后续复现失败 → 证据链断裂。
【显式】一眼可见:论文里写 p=0.05,很多人读成“有 95% 把握结论为真”。错。【p 值是 P(data | H0),不是 P(H0 | data)】。它没有告诉你假说为真的概率,也没有告诉你效应有多大。
【隐式】推一步:p 值对样本量、灵活分析和发表偏好都敏感。Ioannidis 2005 的算术提醒我们:低先验、小样本、灵活分析会让假发现更容易被发表。同一个效应,换一组子样本、换一个协变量,p 可能从 0.06 跳到 0.04。【审稿人若只问“显著吗”,等于奖励会找到显著切片的作者,而不是奖励可检验机制】。
【细微】比多处才能看见:假设每组 n=100,观察效应 d≈0.28,双尾 p≈0.05。若备择真效应就是 d=0.28,似然比约 7:1。先验 1:1 时后验约 88%;先验 1:10 时后验约 41%。【同一个 p=0.05,在不同先验下结论会从较可信翻到不足信】。
【极难发现】盲点:【p=0.05 的真正危险不是假阳性,而是把读者注意力从效应量、置信区间、研究设计和先验可信度上移开】。它像一个廉价门槛:让作者追逐 0.049,让审稿人停止追问机制,让传播者把统计信号当成事实信号。
【待验证点】如果你把 p=0.05 当作“证据足够”,请回答:在低先验可信的探索性研究中,p=0.049 和 p=0.051 的证据差,真的比 0.049 和 0.001 的差更值得单独庆祝吗?







0 Comments