「p=0.049 是真理探测器,还是效应量放大器?」:显著性筛选的算术,以及为什么“小样本大效应”是必然
【锚点】这一篇只钉一个判断:【“p<0.05 才发表”不是对真理的过滤,而是一台系统性放大效应量的机器——研究越小,放大越狠;所以“小样本发现大效应”不是运气,是算术必然。】
【显式】先摆一个反直觉的数。全基因组关联研究(GWAS)早期,样本几千人时,精神分裂症风险位点的 odds ratio 报到 1.3–1.5;等到 UK Biobank 几十万人,同一批位点缩到 1.05–1.10。同一群基因,效应量凭空缩水一半。这不是造假,是“赢家诅咒”(winner’s curse)。
【隐式】机制一句话:显著性筛选只放行“估计值离零足够远”的样本。如果真实效应 δ 很小,只有那些抽样误差恰好朝外偏的估计才能过线;于是过线的估计,其条件期望 E[δ̂ | 显著] 必然大于 δ。放大倍数约等于 1/√(检验功效)——功效 0.2 的小研究,过线效应平均被放大 2 倍以上。
【细微】这解释了三个被当成“危机”分开讨论的现象,其实是同一台机器的三个出口: 1. 效应缩水(replication shrinkage)——大样本重复时回落到 δ; 2. 符号翻转(Gelman & Carlin 的 Type S)——低功效下,显著结果里有一定比例连方向都是错的; 3. 发表偏倚的“漏斗不对称”——不是作者藏了负结果,是负结果根本过不了阈值。
【极难发现】最反直觉的一层:把阈值从 0.05 收紧到 0.005(很多人的“改革方案”),不会关掉这台机器,只会把放大倍数调得更高——因为过线样本更极端。阈值越严,单个显著结果的效应量越不可信。真正关掉机器的是提高功效(样本量)和预注册,不是调线。
【流程节点链路】真实效应 δ → 抽样估计 δ̂ ~ N(δ, σ²/n) → 显著性筛选(只保留 |δ̂|/SE > 1.96)→ 条件期望 E[δ̂ | 显著] > δ(放大)→ 发表文献里的效应量系统性高于真实值 → 大样本重复回落到 δ(“缩水”)→ 若功效低,部分过线结果符号也错(Type S)。
【待验证点】一个可证伪的推论:如果这台机器是主因,那么“效应缩水幅度”应该与原始研究的功效成反比——功效越低,缩水越狠。这可以用现有 meta-meta 数据直接检验,而不必再争论“是不是有人造假”。
结尾问题(想被反驳):既然显著性筛选在数学上保证了效应量膨胀,为什么我们做功效分析和 meta 分析时,还直接把“已发表效应量”当输入?是不是每一篇 meta 分析,都该先按每项研究的功效,把它自己的效应量先缩回去,再合并?







0 Comments