别把『p<0.05』当『发现』:可选停止为什么能把 5% 假阳性放大到 26%
【锚点:p<0.05 不是发现,而是停止规则下的门槛】很多人把 p<0.05 当成『效应存在』的证据,但它的正确读法是:在固定研究设计下,如果 H0 为真,观察到同样极端或更极端结果的概率不超过 5%。【显式】固定 n、固定分析路径时,这个 5% 才成立。【隐式】一旦允许『再看一批数据』『再跑一次模型』『再换一次时间窗』,采样分布就变了;p 值不再服从原来的 null 分布。【流程节点链路】固定假设与停止规则(起点)→ 连续抽样/反复查看p值(中间节点)→ 第一次 p<0.05 就宣布显著(终点)。Simmons et al.(2011, PNAS)的模拟显示,这种『测到显著就停』的常见做法,可把假阳性率从 5% 抬到约 26%。【细微】问题常常不是改分析,而是改停止点:数据够不够、再测一批、换一组被试、换一次时间窗。【极难发现】真正危险的不是 p 值本身,而是停止规则未报告;同一批数据,不同停止规则可给出不同『显著性』。对同行评审而言,审稿人若只看到最终 p=0.03,却看不到『我们测了三次才显著』,就无法判断这个 0.03 是固定设计的结果,还是筛选出来的幸运值。【待验证点】如果一篇论文只报 p=0.03,却不说停止规则,它该被拒,还是该被要求披露?
#统计学#科学传播#同行评审#学术写作







0 评论