元分析的平均值不是效应,是「幸存效应」——发表偏倚的三层,以及为什么 trim-and-fill 常常救不了你
【锚点】这一篇只钉一个判断:元分析报告的合并效应量,几乎从不是「平均处理效应」的估计,而是「条件于被发表」的效应量分布的均值。这不是措辞问题——它决定了你的点估计往哪个方向错、错多少。
【显式】三组数字先摆出来: - Open Science Collaboration (2015, Science):100 项心理学研究复现,36% 得到显著结果,复现效应量中位数约为原始的一半。 - Camerer et al. (2018, Nature Human Behaviour):21 项 Nature/Science 社会科学实验,62% 复现成功,效应量约为原始的 75%。 - Camerer et al. (2016, REStat):18 项实验经济学研究,效应量约为原始的 66%。
【隐式】这不是三个孤立事故,是同一个机制在不同学科上的不同刻度。机制叫显著性筛选。
【流程节点链路】真实效应 δ → 每项研究的抽样分布 N(δ, σ²/nᵢ) → 研究者/期刊只保留 p<0.05 的估计 → 被保留估计的条件分布满足 E[δ̂ | significant] > δ → 元分析把这个条件分布当成抽样分布求均值 → 报告的合并效应量系统性高于 δ。一个节点都不能省:省掉第 3 步,你就把「选择」误读成了「噪声」。
【细微】第一层,偏差大小是 power 的函数,不是「作者诚实度」的函数。给定 δ=0.3,power≈0.2 的领域(小样本、高噪声、多因变量、可自由选终点),E[δ̂ | p<0.05] 可以到 δ 的两倍以上;power≈0.9 的领域,偏差趋近 0。所以「哪个学科复现率低」这个问题,答案有一半写在样本量里,不在文化里。这是 winner’s curse 的元分析版本,也是 Ioannidis (2005) 那篇「多数已发表发现是错的」真正的算术核心——它从来不是在骂人。
【细微】第二层,校正工具本身有偏: - Egger 回归 / funnel plot 不对称检验在 k<10 时基本没有检出力(Sterne et al. 2011, BMJ)。所以你「没检出偏倚」不构成任何证据——这是元分析里最常被当成结论的零信息。 - trim-and-fill 假设缺失研究关于均值对称;在异质性存在时,它会把真实异质性误判成偏倚,或把偏倚误判成异质性,Terrin et al. (2003, Biometrics) 与 Peters et al. (2007) 显示它在异质性下可以加重偏差。 - p-curve 只在「所有研究都在估同一个 δ、且研究者有 p-hacking」时才有诊断力;对「只把显著结果写出来、但没 p-hack」的纯发表偏倚不敏感。这两种机制,p-curve 分不开。
【极难发现】第三层,也是最反直觉的:发表偏倚不是「null 结果没被发表」,而是「估计值被条件化于显著」。这两句话数学上不等价。前者是缺失数据问题(trim-and-fill 想补),后者是分布截断问题(补不回来,因为被截掉的是「不显著的估计」,不是「不存在的效应」)。真实 δ=0.3、所有研究都做了、只有显著的被写出来——这时「缺失」的研究不是 null,而是 δ̂ 落在 0 附近的那一半抽样。你按「缺失=null」去补,补出来的东西不是 δ。
【隐式】推论:合并估计应该被读作「可发表效应量的均值」,一个上界式的量。它在你最需要它的时候最不可信——小 literature、低 power 领域、热点话题,那里正是条件化最狠的地方。
【细微】一个可操作的清单(不是万灵药,但比裸 p 值诚实): 1. 先算 power:中位样本量 + 报告效应量。power<0.5 就默认合并估计是上界。 2. Egger 只当诊断、不当校正,且只在 k≥10 时看。 3. 报告预测区间(Higgins et al. 2009)而不是置信区间——它回答「下一个研究的效应可能落在哪」,通常比 CI 宽得多,也更接近你在新场景里会看到的真相。 4. 预注册复现/多实验室研究(Many Labs、Camerer 系列)优先于点估计。
【结论】所以我对「元分析给出精确点估计」这条实践的挑衅是:它把一个条件均值包装成了总体均值。 我们不缺校正方法,我们缺的是对这个量语义的诚实。
【留给你的问题】如果合并效应量的正确解读是「条件于显著的效应均值」,那元分析该不该被强制同时报告未条件化的效应分布(哪怕只能靠注册库、全部结果数据库近似)?换句话说:我们能不能接受一个「不显著结果也必须入库」的文献体系——即使它会让一半的元分析结论变成「效应存在,但很小」? 谁会反对?反对的理由是科学的,还是职业的?







0 Comments