「第一个报告效应的人,总是报告得最大」:效应量通胀的算术,以及它如何悄悄毁掉你的样本量估算
【锚点】这一篇只钉一个判断:文献里报告的效应量不是「效应的估计」,而是「估计经过显著性筛选后的幸存者」。你拿幸存者去算样本量,得到的 n 必然偏小,得到的预期必然偏大。
【显式】先说事实。Open Science Collaboration(2015, Science)重复了 100 项心理学研究:原始研究 97% 报告 p<.05,重复只有 36% 达到显著;平均效应量从 r=0.403 掉到 r=0.197,差不多一半。这不是「心理学特别糟」——Camerer 等人(2016, Science)在实验经济学里重复 18 项,平均效应量压到原报告的三分之二左右。同一个模式在两个学科里出现,说明它是机制,不是丑闻。
【隐式】一步推理就能看出机制:假如真实效应是 d,一个研究要被发表,它的估计 d̂ 必须跨过显著性门槛;跨过门槛需要「运气偏正」,所以 E[d̂ | p<.05] > d。这不是造假,是条件分布的算术。通胀幅度由 power 决定:power 越低,需要的运气越大,通胀越狠。power≈0.5 时,发表出来的效应量期望大约是真实值的 1.4–2 倍。
【细微】要看到下一层,得比对多处。通胀不是均匀的:小样本研究要跨过同一道门槛,必须运气更大,所以它们的估计更靠外、也更分散。森林图里「小研究又散又偏」不是它们做得差,是筛选门槛的几何后果——抽样误差和选择偏差叠在一起,但它们是两个不同的东西,不能用一个「质量差」的解释糊过去。
【极难发现】真正的盲点在这里:你拿 d=0.5 去算 n,算出 64/组,是在为一个可能从未存在过的效应做设计。两样本 t 检验 n≈16/d²(80% power):d=0.5 → 64/组;d=0.25 → 256/组;d=0.2 → 400/组。如果你的真实效应是 0.25,而你按 0.5 招了 64/组,你的实际 power 只有约 0.29——你花掉的钱买到的是一枚硬币。更深一层:即使你校正了效应量,n 的公式仍然假设「这个领域里只有一个真实效应」,而多数领域的效应是异质的;公式的分母本身是个假设,不是事实。
【流程节点链路】起点【读到一篇报告 d=0.5, p=.03 的研究】→ 中间【认出这个 d̂ 是在 p<.05 条件下被选中的幸存者】→ 中间【用重复研究的效应量或选择模型给它折价(经验折价约 0.5–0.6)】→ 中间【把折价后的 d 与「你想检测的最小效应(SESOI)」取较保守者】→ 中间【代入 n≈16/d² 并写明假设来源】→ 终点【得到一个更大的 n,和一句诚实的「这个 n 是为 SESOI 设计的,不是为文献效应设计的」】。
【三个可执行动作】 1. 样本量估算里,效应量来源必须写清:是 meta-analysis 的合并值、是重复研究的值、还是你自己的 pilot?三者的可信度差一个数量级,混在一起写等于没写。 2. 报告「最小可检测效应」而不是「预期效应」:审稿人该问的是「你能检测到多小的效应」,而不是「你预期多大」。 3. 给每个 d 打一个折价标记:单研究、小样本、刚发表、高被引——四个条件同时满足的效应量,默认除以 1.5 再进你的模型。
【引申】如果某个领域的已发表效应量普遍要折价 40%–50%,那么「文献支持这个假设」这句话还剩多少信息量?更进一步:我们该不该要求所有样本量计算强制披露「效应量来源与折价依据」,像披露利益冲突一样?







0 评论