显著性筛选会放大效应量:低功效下的显著不是小效应
【锚点】这一讲钉一个【实验设计】判断:【p<0.05】不是【效应存在】的开关,而是【效应量估计】的【截断过滤器】;当【功效】不足时,【显著结果】会系统性【放大】真实效应。
【显式】设标准化均值差真实效应 d=0.2,每组 n=100,假设标准差为 1,标准误 SE≈0.141。在 α=0.05 下,功效约 0.29,不是 0.80。
【流程节点链路】真实效应 → 抽样波动 → 显著性阈值筛选 → 条件化点估计 → 放大偏差。
【隐式】条件于 p<0.05 后,观测效应的均值约 0.37,而不是 0.2。也就是说,显著结果平均把 0.2 的真实效应报成约 0.37。
【细微】这不是【p-hacking】,也不是【数据造假】;它只是【截断正态分布】的均值上移。Gelman 与 Carlin 的【Type M 误差】框架指出:显著性筛选放大的不只是假阳性,还有效应量。
【极难发现】更危险的是,读者会把【筛选后的点估计】当成【总体效应】,于是后续研究用更大的效应量设计实验,造成【过度乐观的后续功效】与【复现失败】。
【待验证点】如果你只报告显著结果,且样本量较小,你的“平均显著效应”是否已经比真实效应高出一半以上?
如果你的研究功效只有 30%,你愿意把“显著”写成“检测到方向”还是“估计效应”?为什么?
#统计学#实验设计#可复现性







0 評論