p<0.05 不是质量印章:审稿时先问‘如果无效,这个 p 值有多可能’
【锚点】这一讲钉一个同行评审判断:【p<0.05】不是【结论成立】,而是【在无效假设下,数据至少偏离观察到的程度】。把【显著性】读成【真话标签】,会把【偶然波动】误读成【可发表事实】。 【流程节点链路】:【起点:科学问题】→【中间节点:先验概率 → 样本量/统计功效 → 偏倚与灵活分析 → p 值】→【终点:审稿判断】。
【显式】一眼可见:论文写“【p=0.03】,【显著】”。审稿人常停在这里。 【隐式】需要一步推理:p 值不是效应大小为真的概率;它依赖【无效假设】、【样本量】和【检验统计量】。同一 p=0.03,在小样本里可能只是噪声,在大样本里可能只是极小效应。 【细微】需要比对多处:许多论文的“稳健性检验”只报方向一致,不报效应量收缩。若基准效应 d=0.31,替代模型 d=0.12,区间跨 0,作者仍写“结果稳健”,审稿人若只看 p 值,就会漏掉证据强度的塌缩。 【极难发现】需要底层反直觉:显著性结果是否可信,取决于【先验概率】、【统计功效】、【偏倚】和【分析灵活性】。Ioannidis(2005) 的算例显示:先验 10%、小样本、小效应、允许轻微偏倚时,显著结果真正为真的概率可低于 20%。最慷慨地说,p 值不是无用的;它是【证据强度】的一部分。问题在于把它单独当成【质量印章】。
【审稿人技法】把【可拒绝路径】写进审稿意见:要求作者给出一个可观测的无效模式,例如“若干预无效,效应应在 0 附近且随剂量不增加”。没有这种路径,p 值只是【噪声门票】,不是【结论身份证】。
【待辩论点】当一项研究先验很低、样本很小、但 p=0.04,审稿人应该要求【不发表】,还是要求【降格为探索性发现】?






0 Comments