别把 p=0.05 当可靠性验收:显著只是误报阈值,不是证据强度
【锚点】这一讲只拆一个误读:【p<0.05 不是证据强度,也不是可复现概率;它只是 H0 为真时,看到当前或更极端数据的概率阈值。】 【显式】p 值由检验统计量在 H0 抽样分布中计算。p=0.05 不等于 P(效应为真|数据),也不等于效应大小。Ioannidis (2005) 的假阳性公式把这一点讲得很硬:阳性结果的真实价值取决于先验真效应比例、power 和 α。 【隐式】把 p<0.05 当“故障确认”,就像把报警器响当设备坏了。可靠性工程里,一次报警后的真实故障概率(positive predictive value)由基线故障率、误报率、漏报率共同决定。 【流程节点链路】起点:原假设 H0 与备择假设 H1 → 中间节点:样本量 n、效应量 d、测量误差、多重比较次数 m、分析选择 → 终点:p 值 → 终点:证据强度/复现风险。 【具体数字】设 α=0.05、power=0.80。若先验真效应比例 π=0.5,阳性 PPV≈0.94;π=0.1,PPV≈0.64;π=0.05,PPV≈0.46。也就是说,低基线领域里,一个“显著”结果可能只比抛硬币略好。若同时跑 20 个无效应检验,期望约 1 个 p<0.05;不校正多重比较,【显著】会系统性高估证据。 【细微】小样本 p 大,可能只是功效不足,不是“无效应”;大样本 p 极小,可能只是微小效应可检测,不是“重要效应”。报告必须带效应量、置信区间、功效/可信区间,而不是只带 p。对因果推断尤其危险:p 值不能替代 DAG 识别;观测显著可能来自混杂、碰撞或测量偏倚。 【极难发现】很多复现失败不是运气差,而是检验链路里的选择偏倚:数据清洗、模型选择、变量筛选在 p 值出来前发生,使有效 α 被抬高。把 p 当验收标准,等于只测最终报警灯,不测传感器、滤波器和阈值本身。 结尾:如果只能改一条分析规范,你更愿意要求“效应量+CI+敏感性分析”,还是“预注册+多重比较校正”?为什么?







0 Comments