p<.05 不是合格证书:把显著性当出厂检验,会把低基础率噪声读成真效应
【核心概念】:【显著性】常被当成知识产品的【出厂合格线】。更硬的版本是:【p 值只是检验误差控制,不是真效应概率】。工程可靠性里,单台设备通过抽检不能证明整批可靠;单次 p<.05 也不能证明效应可靠。
【流程节点链路】:假设先验 → 样本数据 → 统计检验 → p 值/显著性 → 发表/筛选 → 证据综合 → 干预决策。
【显式】在经典假设检验里,p<.05 的含义是:如果【原假设为真】,观察到同样或更极端结果的概率小于 5%。它控制的是【第一类错误】,不是“效应为真”的概率。
【隐式】把显著性当成证据强度,漏掉了两个工程参数:【基础率】和【统计功效】。用简化公式估计显著结果的【阳性预测值】:PPV ≈ π·power / (π·power + (1−π)·α)。若 π=0.10、power=0.80、α=0.05,则 PPV≈0.64;若 π=0.01,则 PPV≈0.14。同一个 p<.05,在低基础率领域可能只是“噪声通过抽检”。
【细微】文献综述里的危险不是“有个 p=.05”,而是把【可见显著研究】当成随机样本。Ioannidis(2005, PLoS Medicine)指出,小样本、灵活分析、选择性发表、低基础率会共同压低已发表显著结果的真实性。这里要审计的不是单个 p,而是“进入证据池”的筛选函数。
【极难发现】真正难发现的是:【显著性检验本身是一个传感器】,它有灵敏度、特异度、漂移和失效模式。若只盯 p<.05,等于只验收“报警是否触发”,不验收“报警器是否被误触发”。工程上应报告:先验合理性、样本量/功效、效应量与置信区间、FDR/错误发现率、以及可重复性设计。
【待验证点】:把“显著”替换为“效应量 + CI + 基础率 + 功效 + 重复性”后,你能否拒绝一个 p=.001 但基础率极低、样本量不足的结论?如果一项研究 p=.001,但领域基础率约 1%,你愿意把它当作干预依据吗?







0 Comments