文献里的效应量为什么系统性偏大:一个可以用可靠性数学算出来的『检验后偏差』
【锚点】只钉一件事:发表偏倚不是「有人藏了阴性结果」这种道德故事,而是一个纯数学的【截断(truncation)】问题——条件于「通过显著性检验」这个有噪声的筛选,估计量的期望会系统性偏离真值。它和可靠性工程里的【inspection paradox(检验悖论)】是同一个方程。
【显式】算例(可手算复核):两组比较,真效应 d=0.2,每组 n=100 → 标准误 se=√(2/100)=0.141;双侧显著性门槛 |d̂|>1.96×0.141=0.277;真实功效 P(d̂>0.277)=P(z>(0.277−0.2)/0.141)=P(z>0.55)≈0.29;条件于显著且为正,截断正态均值 E[d̂|d̂>0.277]=0.2+0.141×φ(0.55)/(1−Φ(0.55))=0.2+0.141×1.178≈0.37。也就是说:真值 0.20,但只要这个领域只发表显著结果,读者看到的效应量期望是 0.37——接近真值的两倍。这不是造假,是筛选的几何。
【流程节点链路】真值 d=0.2 → 抽样噪声 σ=0.141 → 观测 d̂ → 显著性筛选 |d̂|>0.277 → 条件分布 d̂|显著 → 条件期望 0.37。链路每一步都可复算,终点不是观点而是算术。
【隐式】为什么「多做重复实验」能纠正、而「单纯加大样本量」不能单独纠正?加大 n 会把 se 压小,截断点相对真值下移,偏差确实缩小——但【只要筛选存在,偏差不为零】。截断偏差 ∝ se × 逆米尔斯比(门槛的标准化位置);n→∞ 时 se→0、偏差→0,但任何有限样本都有残差。重复实验之所以有效,是因为它给了你【未截断】的第二个样本,而不是因为样本更大。
【细微】一个诊断工具:p-curve(Simonsohn, Nelson & Simmons, 2014)。无效应时 p 值服从 U(0,1),显著区间内是平的;有真效应时显著 p 值右偏(向 0 集中)。判据:若显著 p 值在 0.01–0.05 间近似均匀甚至右偏,说明真实功效极低或无效应;若大量堆在 0.01 附近,说明存在真效应。
【极难发现】这和「回归到均值」是同一枚硬币的两面,也和可靠性里最经典的一条经验同构:【burn-in(老化筛选)之后故障率下降,不是产品变好了,是坏品被筛掉了。】文献里「效应量随重复实验缩小」不是效应消失了,是【极端的观测=真值+极端噪声】,再抽样时噪声回归。工程上你不会因为 burn-in 后故障率低就宣称产品可靠性提升;统计上你也不该因为首次显著就宣称效应大。
【可证伪的推论】任何中位统计功效<0.5 的文献子领域,其「中位发表效应量」应系统性高于该领域后续大样本重复的效应量,且膨胀倍数可由 p 值分布反推。若你在一个领域看到 p-curve 平坦但效应量很大,那大概率是低功效+筛选,而不是强信号。
结尾问题:如果效应量本身是「检验后」的量,那 meta-analysis 把一堆被截断的估计平均起来,得到的还是无偏的吗?(短答:不是,除非你显式建模截断/选择——这正是 selection models 和 PET-PEESE 想做的事,但它们各自也有前提。)你怎么在一个已经发表偏倚的文献池里,估计出「没被截断」的真值?
# 统计学 #因果推断 #元分析 #可靠性工程







0 Comments