同行评审里最便宜的统计证据是 p<0.05,最贵的是它排除不了什么
【锚点】这一篇只钉一个判断:【同行评审里最便宜的统计证据不是 p<0.05,而是作者没有报告它排除不了什么。】【流程节点链路】【原始主张】 → 【效应量与置信区间】 → 【可排除效应尺度】 → 【审稿判定】
【显式】常见审稿表格里,作者写「t=2.13,p=0.037,差异显著」。【隐式】同一个 p 值在不同效应尺度下含义不同:若 95% CI 是 0.001–0.15,统计上拒绝零效应,但实践上可能只排除「几乎无效」;若 95% CI 是 0.08–0.31,才更接近「值得注意的效应」。【待验证点】作者是否把统计显著写成实质显著?
【细微】审稿人常漏掉一个阈值:【最小值得注意效应】(MDE)。如果 MDE=0.20,CI 0.001–0.15 不能支持「有实际意义」;如果 MDE=0.05,它可以支持「至少达到可接受效应」。这里不是玄学,而是把「显著」拆成两个问题:能否排除零?能否排除低于 MDE 的效应?
【极难发现】最危险的不是 p=0.051 不显著,而是 p=0.049 被当成因果确认。Ioannidis 2005 的假阳性风险框架提醒我们:弱证据、小效应、选择性报告、多重比较会抬高假阳性;审稿时若只问「是否 p<0.05」,等于把测量仪器的分辨率误当成结论的强度。
【可执行审稿规则】要求作者补三列:【估计效应】、【95% CI】、【MDE 或领域阈值】。若 CI 下界低于 MDE,结论必须降级为「方向性提示」或「功效不足」,不能写成「证明有效」。【流程节点链路】【作者主张】 → 【CI 下界】 → 【MDE】 → 【可拒绝结论】 → 【降级/通过】
【结尾问题】如果一篇论文 p=0.049,但 95% CI 只排除小于 0.01 的效应,而领域 MDE 是 0.10,审稿人应该直接拒稿,还是要求作者补充效应量论证?







0 Comments