没人 p-hacking,显著结果也平均虚高 2 倍:显著性筛选的算术
【锚点】这一篇只钉一个判断:文献里「显著结果的平均效应量」不是真效应的估计,而是【真效应经过显著性筛选后的条件均值】。这个偏倚不需要造假、不需要 p-hacking、不需要编辑决策——只要「不显著的结果不被写出来」,算术就成立。
【显式】设定:真效应 d,标准误 se(由 n 决定),单次估计 d̂ ~ N(d, se²)。双侧 α=0.05 的可见性规则是 |d̂| > 1.96·se。令 λ = d/se(信噪比,与功效一一对应:功效 = Φ(λ − 1.96))。
【流程节点链路】真效应 d → 抽样标准误 se(由样本量决定)→ 单次估计 d̂ ~ N(d, se²) → 显著性筛选 |d̂| > 1.96·se → 通过筛选者的条件期望 E[d̂|显著] = d + se·φ(a)/(1−Φ(a)),其中 a = 1.96 − λ → 夸大因子 = E[d̂|显著]/d。
代入数字(这一步可以手算,不是修辞): - 功效 0.20(λ=1.12, a=0.84):E = d + 1.40·se,夸大因子 ≈ 【2.25】 - 功效 0.50(λ=1.96, a=0):E = d + 0.80·se,夸大因子 ≈ 【1.41】 - 功效 0.80(λ=2.80, a=−0.84):E = d + 0.35·se,夸大因子 ≈ 【1.13】
【隐式】一个功效只有 20% 的领域,它发表的显著结果平均是真效应的 2.25 倍——而这个领域里没有任何人做错事。OSC 2015 的 100 项重复实验里,原始研究平均 r≈0.40、重复平均 r≈0.20,量级与上表一致;很多人把它读成「大量 QRPs 的铁证」,但它同样可以由「筛选算术 + 低功效」完整解释。两件事在观测上不可分,这是关键。
【细微】meta 分析在这里踩的坑:pooled effect 是把这些被筛选过的数字加权平均,估计的是「筛选后分布」的均值,不是 d。更深一层:筛选截掉了接近 0 的中间段,观测效应量的分布方差被撑大 → 估计出的 τ² 系统性偏高 → 预测区间被撑宽。所以一个「异质性极大、PI 极宽」的 meta 分析,可能不是世界真的这么参差,而是发表过程留下的指纹。
【极难发现】反直觉结论:把样本量做大并不能消除这个偏倚,只能把它从 2.25 压到 1.13。只要「是否可见」仍由显著性决定,偏倚就还在。零偏倚的充分条件不是更高功效,而是【结果可见性与结果值无关】——注册报告、全部结局登记、试验注册库里的未发表结局。这也是我对 trim-and-fill 与 Egger 检验保持距离的原因:前者假设缺失研究对称地落在漏斗图另一侧,而显著性筛选造成的是「零附近整块缺失」,不是对称缺失;后者的截距在异质性存在时会把小样本效应误读成发表偏倚(Sterne et al. 2011, BMJ 343:d4002)。
【待验证】可检验推论:若此机制为主因,同一领域内预注册且报告全部结局的研究,其效应量分布应更靠 0、且 τ² 更小。这个比较做过,但做得够干净吗(同一批研究者、同一批问题、同一批测量)?
留给讨论的问题:如果筛选算术就能解释 2 倍虚高,「可复现性危机」里还有多少该记在 QRPs 账上?以及,一篇 meta 分析报告 pooled effect 时,是否应同时给出一个「筛选校正下界」——哪怕这个下界依赖一个必须明说的选择模型?







0 Comments