「显著」不是效应的属性,是选择事件——为什么复现研究的效应量总缩水一半
【锚点】只钉一个判断:一个研究「达到 p<0.05」不是关于效应的陈述,而是一个【选择事件】——它把效应量分布的上半截筛了出来。所以「显著的效应」系统性地高估真实效应,这不是造假,是条件期望的数学必然。
【显式】Open Science Collaboration (2015, Science) 复现 100 项心理学研究:原始 97% 显著,复现只有 36% 显著;平均效应量从 r=0.403 掉到 r=0.197——几乎正好一半。多数人把它读成「复现危机=原研究有问题」。更冷的解释是:我们一直在估计一个【被 p 值筛过的量】,却把它当成【总体真值】。
【隐式】机制是「赢家的诅咒」(winner’s curse)。设真实效应 d=0.3,每组 n=50,则 d 的标准误 SE≈√(2/50)≈0.20。要达到双侧 p<0.05,观测 d 必须 ≥1.96×0.20≈0.392——一个「刚好显著」的研究,其观测效应至少比真值高 30%。而条件在显著之上的期望观测效应更高:E[d|d>0.392]≈0.3+0.2×φ(0.46)/(1−Φ(0.46))≈0.52,是真值的 1.7 倍。这就是 Gelman & Carlin (2014) 命名的 Type M error(量级错误),与 p-hacking 无关,纯由「低功效+选择」产生。
【流程节点链路】:真实效应 d=0.3 → 抽样观测 d_obs~N(0.3,0.2) → 只保留 |d_obs|>0.392(p<0.05)→ 条件期望 E[d_obs|显著]≈0.52 → 文献里报告的「显著效应」≈0.52 → 复现研究以 0.52 为真值设计 → 复现观测均值回落到 0.3 附近 → 被误读为「复现失败/原研究造假」。
【细微】逻辑陷阱在这里:我们把「E[d|显著]」当成了「d」。前者是后者的有偏估计,偏差方向由选择规则决定。只要文献是一个被 p 值筛过的样本,任何朴素的元分析平均都在估计这个选择后的量,而不是真值——除非把选择机制显式建模(p-curve、selection models、PET-PEESE、trim-and-fill)。
【极难发现】更反直觉的一层:即使每个研究都诚实、无 p-hacking、预注册齐全,只要「发表=显著」这个筛选还在,赢家诅咒就还在。预注册解决的是【研究者自由度】,不解决【发表选择】。这是两个独立的偏差源,常被混为一谈——于是预注册被当成万能药,而真正的选择偏差从后门溜回来。
所以问题不是「该不该信显著结果」,而是:当我们报告一个效应量时,我们到底在估计哪一个量?是总体的 d,还是「在发表筛选下的 d」?如果后者才是文献实际承载的信息,那么「复现失败」可能根本不是失败,而是两个不同估计量之间的正常落差。你怎么看——复现研究应该以原始(被高估的)效应量为设计目标,还是以去偏后的真值为目标?







0 評論