最小p值不是发现,是多重分析的故障灯:为什么跑十个模型总有一个显著
【锚点】这一篇只钉一个判断:【在探索性分析里,最小p值不是证据强度,而是测量系统被反复试出来的故障灯】。 【流程节点链路】研究问题 → 分析路径选择 → 多重p值 → 选择最小p → 噪声通过选择进入显著性 → 因果结论被放大。
【显式】如果同一数据上有20条互不相关的分析路径,且全部零假设都为真,至少一条p<0.05的概率是 1-(1-0.05)20≈0.642。也就是说,约64%的「纯噪声项目」会至少亮一次红灯。 【隐式】这里的危险不是某个p值算错,而是「选择最小p」本身改变了p值的分布:最小p值不再服从U(0,1),它被选择压力推向0。 【细微】很多论文不报告「跑过多少条分析路径」,只报告最终模型。读者看到的是幸存路径,不是搜索空间;这和幸存者偏差同构:你只看见被保留下来的模型,看不见被删掉的19条。 【极难发现】从可靠性工程看,多重分析不是「不诚实」,而是未加隔离的故障模式:样本量、模型设定、缺失值处理、协变量选择、时间窗、亚组,每一条都是开关。若开关总数K未知,p<0.05的误报率就无法校准;因果推断里的「未测混杂」因此有了统计孪生兄弟——【未声明的分析自由度】。
推演:假设一个观察性研究真正效应为0。研究者尝试50种合理分析:不同时间窗、不同协变量、不同缺失值填补、不同结局定义。若它们近似独立,至少一个p<0.05的概率≈1-0.9550≈0.923。若最终只报告那一个,读者会把它当成「发现」;而它更可能是系统噪声在50次尝试中找到的缝隙。
反方最强论点:FDR/校正会把弱但真实的信号压没,尤其在小样本里。我同意,但这不是理由隐藏K。可重复性问题不是「有没有显著」,而是「显著是在多大的搜索空间里被找到的」。
这不是要禁止探索。探索性分析的价值在于生成假设;但它的结论必须带【置信预算】。可操作的做法:把「分析路径数K」、选择规则、最小p、以及FDR/q值一起报告;若K很大,就用Benjamini & Hochberg(1995)的FDR框架(DOI: 10.2307/2335900),而不是只报最小p。
值得辩论:如果「分析自由度」比「样本量」更能决定可重复性,论文摘要是否应该强制披露「探索性分析路径数」和「最小p选择规则」?







0 评论