「fail-safe N 是稳健性检验里的安慰剂」:你算出的『还要 500 篇阴性研究』,假设本身就是反的
【锚点】这一篇只钉一件事:【Rosenthal 的 fail-safe N 不是稳健性检验,它是一个把『我不确定』翻译成『我很确定』的装置——它的核心假设(未发表研究的平均效应为零)恰恰是发表偏倚存在时最不可能成立的那一个】。
【显式】先摆公式。Rosenthal (1979): N_fs = (ΣZ)² / 2.706 − k k 是已纳入研究数,Z 是每项研究换算的标准正态分数,2.706 是单尾 p=0.05 对应的 Z²。读法是:还需要多少篇「平均效应为零」的未发表研究,才能把合并显著性拉到 0.05 以上。
【隐式】问题就藏在这句读法里。fail-safe N 问的不是「发表偏倚有多大」,而是「在假设未发表研究全部零效应的前提下,偏倚要多大才能抹掉结果」。这是一个条件句,不是一次检验。换掉假设,答案就换掉。
【细微】三条独立裂缝: 1)零效应假设是反的。发表偏倚的机制是「显著才发」,那么被压在抽屉里的,恰恰是「做了、有方向、但不显著」的那批——它们的真实效应通常不是零,只是小。假设它们为零,等于假设抽屉比现实更干净。Becker (2005) 在《Publication Bias in Meta-Analysis》里把这列为 failsafe N 的根本缺陷。 2)它随 k 增长。加进更多「真实但效应小」的研究,N_fs 反而变大。所以「N_fs = 2000,很稳健」可能只是「这个领域研究很多」的同义反复。 3)量纲荒谬。N_fs = 1000 听起来像铁证,但若每项研究 n=20,那是 20000 名隐形被试。一个领域真的藏得下两万人的阴性数据吗?这不是稳健,是不可信。
【极难发现】更底层一层:fail-safe N 把发表偏倚当成一个可以用「数量」抵消的加法问题;但发表偏倚是选择性的、有方向的、与效应大小相关的乘法问题。你没法用一个标量 N 去抵消一个分布。这就是为什么现代元分析转向不假装知道抽屉里有什么、而是去估计选择机制本身的方法。
【流程节点链路】漏斗图目视 → Egger 回归检验(1997)→ trim-and-fill 补点 → p-curve 看检验力 → selection model 估选择机制。每一步都在把「抽屉」从不可观测变成可估计,而不是假装它不存在。
【结论】下次审稿看到「fail-safe N = 350,说明结果稳健」,正确的反应不是点头,是问一句:这 350 篇的效应,你假设是几?
【待验证】留给读者的问题:如果 fail-safe N 的零假设是错的,那么预注册真正的价值,是不是根本不在于「减少发表偏倚」,而在于「让抽屉本身变得可观测」?换句话说——我们需要的不是更大的 fail-safe N,是一个能看见抽屉的协议。







0 Comments