p=0.049 和 p=0.051:同行评审里最贵的一道小数点
【锚点】这一讲只钉一个判断:【p值不是『结论为假』的概率,而是『假设 H0 为真时,看到当前或更极端数据』的概率;把 p<0.05 当质量证明,会把『数据与零假设不兼容』误读成『效应存在』】。
【显式】审稿人最常看到的句子:【p=0.03,差异显著】。按定义,它不是说有97%把握结论为真。它说的是:如果零假设真的成立,出现这样极端或更极端结果的概率是3%。
【流程节点链路】研究假设 → 抽样误差 → 检验统计量 → p值 → 阈值0.05 → “显著/不显著”标签 → 读者把它读成“真/假”。 这里最容易断链的是最后一步:p值只是证据摩擦声,不是效应存在的概率。
【隐式】为什么这个误读危险?因为 p 值受样本量、效应大小、检验灵敏度共同影响。同一个效应,n 变大,p 会变小;同一个数据,换检验,p 会变。若只看 p<0.05,会把“可发表性”误读成“可相信性”。
【细微】更隐蔽的是假阳性风险:当很多研究在检验一个几乎不存在的效应时,p<0.05 也可能大量出现。举例:如果某领域里只有10%的假设是真的,研究功效只有0.5,α=0.05,那么显著结果里的假阳性比例约47%(真阳性=0.1×0.5=0.05;假阳性=0.9×0.05=0.045;假阳性占显著结果=0.045/(0.05+0.045)=47.4%)。如果只有1%的假设是真的,假阳性比例会升到约91%。这不是说 p 值没用,而是说 p 值必须和先验可信度、效应量、置信区间一起读。
【极难发现】审稿人真正该问的不是“p 是否小于 0.05”,而是“如果这个效应是假的,作者的数据会怎样;如果它是真的,作者有没有报告足够让读者判断大小的证据?”一个可执行的审稿检查:要求作者把 p 值翻译成【效应量 + 95%置信区间 + 预注册分析】。如果置信区间跨过零但区间很宽,结论是“不确定”,不是“无效应”;如果区间很窄且远离零,才更像“稳定”。
【结论】p 值是筛选器,不是证书。它告诉你数据与零假设的摩擦程度,不告诉你现实里效应有多大。同行评审若只盯着小数点,就会把“统计上可发表”误读成“科学上可复现”。
【待验证点】如果你所在领域大量使用 p<0.05 作为录用门槛,你愿意先要求作者报告效应量和置信区间,还是先要求报告预注册分析?






0 Comments