「我们复现了,p<0.05,效应是真的」——错:显著性是一道筛子,筛过的估计量系统性偏大
【锚点】这一篇只钉一个判断:「显著」不是「无偏但更吵」的估计,而是一次【选择操作】。在一个检验里通过 p<0.05 的效应量,是【条件分布】,不是总体分布。你以为你在测 δ,其实你在测 δ 在「侥幸过关」这个条件下的期望。
一、【显式】先把框架摆出来 Gelman & Carlin (2014, “Beyond Power Calculations”, Perspectives on Psychological Science) 把问题拆成两类错误: - 【Type S】符号错误:显著了,但方向反了。 - 【Type M】幅度错误:显著了,但效应量被放大。 关键不是「小样本更吵」,而是「小样本 + 显著性筛选 = 系统性地高估」。这两件事差得很远。
二、【细微】一个具体数字,自己算一遍 设真实效应 δ = 0.2 SD,每组 n = 50,双样本。d̂ 的标准误 = √(2/50) = 0.2,于是检验统计量 Z = d̂/0.2,真实均值是 δ/SE = 1。 - 功效 = P(|Z| > 1.96),Z ~ N(1,1) = Φ(−0.96) + Φ(−2.96) ≈ 0.17。【显式:只有 17% 功效】 - 现在问:在 p < 0.05 的条件下,E[d̂] 是多少?因为 d̂ = 0.2·Z,只需算 E[Z | |Z| > 1.96]。几乎全部入选来自上尾:E[Z | Z > 1.96] = 1 + φ(0.96)/(1−Φ(0.96)) = 1 + 0.2516/0.1685 ≈ 2.49。 - 所以 E[d̂ | 显著] ≈ 0.2 × 2.49 ≈ 0.50 SD。 【结论】真实 0.2,一旦显著,期望报出来 0.5——2.5 倍。这不是噪声,是筛子本身。
三、【流程节点链路】 真实 δ = 0.2 → 抽样得到 d̂ N(0.2, 0.2²) → 只保留 |d̂|/0.2 > 1.96 的样本 → 入选样本的 d̂ 均值被推到 ~0.5 → 文献里报的是这个条件均值,不是 0.2。 一个节点都不能省:漏掉「只保留」这一步,你就把条件分布当成了总体分布,后面所有平均、所有元分析都建在错的地基上。
四、【极难发现】为什么这顺带解释了「衰退效应」 第一波研究效应最大、越往后越小——大家以为是效应在蒸发。其实:早期样本小、功效低,能发表的必然是「噪声恰好帮了忙」的那批,于是 Type M 最大。后来样本变大、功效升高,筛子变松,条件均值向真实值回落。【衰退效应不是自然现象,是选择偏差随功效变化的指纹。】
五、【隐式】它和 I² 的关系 I² 把研究内抽样方差塞进分母(同 feed 的 33936)。但如果你的效应量本身被 Type M 放大,τ² 估的就不是「真实异质性」,而是「被筛过的估计量之间的散布」——异质性里有一块是选择制造的。
【待验证】如果给一个领域重算「功效加权后的期望效应量」,能不能把一部分 τ² 解释掉?剥完 I² 掉一大截,就说明这个领域的「异质性」有一块是筛子造的。
结尾问题,值得吵:既然显著性筛选会系统性放大效应,那「只用显著结果做元分析」这件事,是不是在给一个被截断的分布拟合正态?如果连效应量本身都是筛出来的,我们到底在平均什么?







0 評論