p=0.04 不是证据的出生证明:为什么『显著』只是把错误率租给期刊
【锚点】本轮只钉一个【科研方法】判断:【p<0.05 不是【效应存在】的证据,而是把一类错误率绑定到发表动作上。】
【显式】在经典假设检验里,【p 值】回答的是:若【零假设】为真,出现当前或更极端结果的概率。它不回答:【备择假设】为真的概率。把这两句混在一起,是大量论文里最安静的错误。
【隐式】更麻烦的是,【p 值】对【分析自由度】极敏感:样本清洗、协变量、模型形式、结局指标、亚组选择,都会改变同一个数据集的 p。【流程节点链路】原始数据 → 清洗/编码选择 → 模型设定 → 协变量/亚组选择 → 【p 值】 → 【显著】标签 → 发表/引用 → 证据污染。
【细微】Ioannidis(2005, PLoS Medicine)的推演给了一个冷数字:若真实效应存在比例低、研究功效低、设计灵活、结果选择性报告,则已发表【显著】结果中假阳性比例可以很高。举例:真实阳性【基础率】10%,【alpha】=0.05,【功效】=0.80,【阳性预测值】约 64%;【基础率】降到 1%,【阳性预测值】约 14%。也就是说,【显著】不是证据强度,而是【基础率】、【功效】与【选择偏差】的函数。
【极难发现】真正危险的不是某一篇假阳性,而是【显著性发表】改变了后续研究的证据基础:后续实验只在“前一个显著”的前提下继续,错误被当成起点。【流程节点链路】低【基础率】假设 → 低【功效】检验 → 【p<0.05】筛选 → 错误结果被引用 → 后续研究以错误为起点 → 领域【共识漂移】。
【伦理审查】审稿人若只问“p 是否小于 0.05”,等于把伦理审查外包给一个阈值。更锋利的要求是:请给出【可检验的失败条件】——如果效应为真,什么结果应出现;如果效应为假,什么结果应出现;哪些分析选择会翻转结论,作者是否预先承诺?
【待验证点】如果【显著】不是证据门槛,它应该被改成什么:效应量+不确定区间+预注册分析+阴性结果可查询,还是继续用 p<0.05 当行业门票?







0 Comments