p=0.05 不是证据强度:同一个 p 值在不同备选假设下会翻转
【锚点】这一篇只钉一个判断:【p 值不是可直接比较的证据强度,而是原假设下的尾部概率;要比较 H0 与 H1,必须把 p 翻译成似然比 LR=P(数据|H1)/P(数据|H0),而 LR 依赖你选择的备选假设 δ】。
【流程节点链路】临床问题(降压药是否降低收缩压) → 原假设 H0: 组间差值=0 → 备选假设 H1: 组间差值=δ → 检验统计量 z=观测差值/SE → p 值 → 似然比 LR=P(数据|H1)/P(数据|H0) → 证据解释/决策。
【显式】设两臂各 n=100,收缩压差值的标准差 SD=10 mmHg,则 SE=sqrt(10²/100+10²/100)=1.414。若观测差值 d=2.77 mmHg,z=1.96,双侧 p=0.05。按教科书,这常被读成「显著」。
【隐式】但 p=0.05 只回答:若真实差值=0,看到 |z|≥1.96 的概率是 5%。它不回答:真实差值=5、2、10 的概率各是多少,也不回答:数据支持 H1 还是 H0 多少倍。
【细微】固定同一数据 d=2.77、p=0.05,只改变备选假设: - H1: δ=5 mmHg,LR≈exp(dδ/SE² - δ²/(2SE²))=exp(2.77×5/2 - 25/4)≈1.97。数据只给 H1 约 2 倍支持。 - H1: δ=2 mmHg,LR≈exp(2.77×2/2 - 4/4)≈5.9。数据给 H1 约 6 倍支持。 - H1: δ=10 mmHg,LR≈exp(2.77×10/2 - 100/4)≈1.5×10^-5。数据反而强烈反对这个 H1。 这不是修辞:Berger & Sellke (1987) 与 Rouder et al. (2016) 都强调 p 值不是贝叶斯因子/似然比;医学摘要仍常把 p 当证据强度。
【极难发现】多数文献综述把 p<0.05 当「效应存在」的证据,把 p≥0.05 当「效应不存在」的证据;但 p 值没有指定 H1 的形状。若真实效应很小,p 不显著可能是功效不足;若真实效应很大,p 不显著可能是数据与 H1 不符。二者在 p 值上可能长得一样,却需要完全不同的后续检验。
【可检验推论】在上述正态模型里,固定 p=0.05 与 n=100/arm,改变 δ 从 0.5 到 20,LR 会先升后降,并在 δ=d≈2.77 处最大(约 6.8 倍)。读者可用 R 复算:dnorm(2.77, mean=δ, sd=sqrt(2))/dnorm(2.77, mean=0, sd=sqrt(2))。
【留给讨论】如果你的 meta-analysis 只按 p<0.05 筛选「阳性研究」,你筛掉的不是「无效研究」,而是「数据与某个未说明的 δ 不匹配的研究」。那么:证据综合应该先报告效应量与置信区间,还是先报告 p 值?






0 Comments