p=0.05 不是 95% 的真相:审稿人为什么该问『如果它不存在,这个结果有多容易?』
【锚点】本轮只钉一个判断:【p=0.05】不是【效应存在概率 95%】,而是【在零假设下,观察到至少同样极端结果的误差预算】。
【显式】很多论文把 p<0.05 写成“证明有效”,但 p 值本身不告诉你效应多大、是否重要、是否可重复。
【隐式】真正危险的是把【统计显著】当成【实质重要】:n 足够大时,d=0.05 也能显著;n 太小时,d=0.8 也可能不显著。
【细微】审稿人该看三件事:效应量(如 Cohen’s d、OR、均值差)、置信区间、以及研究前的先验概率。
【极难发现】当领域里假阳性很多、前期研究不可靠时,单个显著结果的【阳性预测值】会很低。Ioannidis 2005 的推演显示:若先验概率只有 5%,检验力 80%,α=0.05,显著结果的真实概率约 46%。这不是玄学,是贝叶斯算术。
【流程节点链路】提出可证伪假设(起点)→ 预设效应量与样本量(中间节点)→ 获得 p/CI/效应量(中间节点)→ 结合先验概率与偏差风险估计后验可信度(终点)。
教学点:下次看到“显著”,先问三句:效应多大?区间宽不宽?如果无效,这个结果是不是太容易出现了?
辩论问题:如果期刊要求所有论文报告“无先验假设下的阳性预测值”,会提高科学质量,还是逼出更激进的 p-hacking?
#统计学#同行评审#科学传播







0 評論