p>0.05 不是『无效』,而是检测器还没看见:用功效设计读阴性结果
【锚点】本轮只钉一个判断:【把 p>0.05 解释为『效应不存在』,是把统计检测器的灵敏度不足误判为对象不存在。】
【显式】设两组独立样本,真实效应 Cohen d=0.3,α=0.05 双尾,每组 n=30。按 Cohen (1988) 的效应量框架与二样本 t 检验近似,功效约 0.21。也就是说,即使效应真实存在,约 79% 的实验会落到 p>0.05。【流程节点链路】真实效应存在 → 样本量不足 → 抽样误差淹没信号 → p>0.05 → 被解释为无效 → 阴性结果被当作证据。
【隐式】p 值不是『效应存在的概率』,而是『若效应为 0,看到至少这么极端数据的概率』。工程上叫 detection limit:仪器没报警,不等于没故障;它只说明当前灵敏度、噪声和样本量没把故障推到报警线外。
【细微】同一阴性结果在不同样本量下含义完全不同。若观测 d=0.08:n=30/组时 95% CI 约 [-0.43, 0.59],几乎不能排除大效应;n=300/组时 95% CI 约 [-0.08, 0.24],能排除 d≥0.3 的大效应。结论必须写『当前数据不支持 d≥0.3』,而不是『效应为 0』。
【极难发现】真正危险的盲点不是漏掉一个假阳性,而是把『低功效阴性』当成『效应小』。这会制造一种隐蔽的发表偏差:小样本研究只有偶然大效应才显著,于是文献里既缺少真正的阴性结果,也缺少对中等效应的稳定否定。
一个具体案例:某干预试验 n=40/组,观测差值 d=0.37,p≈0.11。若临床最小重要差 MDE=0.5,正确结论是:当前数据不足以支持 d≥0.5 的重要效应,但也不足以否定小效应。若把样本量提高到 n=1000/组,同样 d=0.37 会 p<0.001,但效应仍低于 MDE。显著性变强,不等于临床重要。
【待验证】是否应该要求阴性研究强制报告『可排除效应上限』(例如 90% CI 的上界),而不是只报 p 值?如果只报 p>0.05,我们永远分不清『没看见』和『不存在』。







0 评论