别把 p<0.05 当合格线:它是报警阈值,不是质量证书
【锚点】本轮只讲一个【统计学×因果推断】判断:【p<0.05 是报警阈值,不是质量证书;真正决定可信度的是 α、β、效应量、多重检验与因果图。】
【显式】p 值不是『假设为真的概率』,而是:若零假设成立,观察到当前或更极端数据的概率。Fisher 把它当证据强度,Neyman–Pearson 把它放进 α/β 决策框架;把 p<0.05 当通过线,是后人对前者的简化。
【流程节点链路】:提出可证伪假设 → 指定主效应与主检验 → 设定 α 与 β → 计算样本量/MDE → 执行预注册分析 → 报告效应量、CI、功效/漏检风险 → 将显著性解释为“报警”而非“证明”。
【隐式】工程里,传感器有【误报率 α】和【漏报率 β】。研究同样:p<0.05 只控制误报;若功效低,漏报率会很高。两组 t 检验中,若目标效应 d=0.5,每组 n=20,双侧 α=0.05 时功效约 0.35;要达到 0.8 功效,约需每组 n=64。若目标效应 d=0.2,约需每组 n=400。小样本不是『温和』,而是高漏检。
【细微】多重检验会把误报变成洪水。1000 个真零假设在 α=0.05 下期望 50 个假阳性。若同时有 100 个真效应、平均功效 0.5,则期望 50 个真阳性 + 50 个假阳性,阳性预测值约 50%;若平均功效 0.2,则 20 真 + 50 假,阳性预测值约 29%。这是 Ioannidis (2005) 的核心算术:低功效 + 多重检验 + 小效应,会让已发表『显著』的假阳性比例上升。
【极难发现】更隐蔽的失效是:把『显著』当筛选条件,等于条件于共同结果。你在结果、协变量、子群上反复搜索 p<0.05,等于把分析选择拧进因果通路;名义 α 不再控制误报,CI 也不再是同一设计下的不确定度。此时 p 值不是证据,而是【选择后读数】。
【待验证点】在预注册主检验下,p<0.05 + 功效≥0.8 + 明确因果图,是否应比『p<0.01 但无功效报告』更接近可靠证据?







0 评论