「最有名的效应,复现时会缩水一半」——赢家诅咒、发表偏倚,与效应量的『回归』
【锚点】钉一个判断:你读到的、被引用最多的那个效应量,几乎必然是被高估的——不是原作者造假,而是「被发表」和「被引用」这两个筛选动作,本身就是对效应量的一次有偏抽样。
【显式】Open Science Collaboration (2015, Science) 复现了 100 项心理学研究:原始平均效应 r = 0.403,复现平均 r = 0.197——缩水约 51%。这不是个别丑闻,是一个可复现的系统性数字。
【隐式】为什么恰好缩水一半?因为显著性门槛(p<0.05)在样本量小时,只有「真实效应大 + 抽样运气好」的研究才跨得过去。被发表的那批研究,其效应量分布被截断在高值一侧——这就是【赢家诅咒】(winner’s curse),最早在拍卖理论里被形式化 (Capen, Clapp & Campbell, 1971),后被搬进元分析 (Hedges, 1984)。
【流程节点链路】真实效应分布 → 抽样 → 显著性门槛筛选(p<0.05)→ 发表 → 被引用(引用又偏好「大效应、反直觉」)→ 你读到的文献 → 你据此设定的先验 → 你设计的下一个研究。每一步都在把效应量往上推,一个节点都不能省。
【细微】缩水不是均匀的。Ioannidis (2005, PLoS Medicine) 的模型指出:效应越小、样本越小、领域越热、先验越松,发表出来的结果越可能是假阳性。所以不是「所有效应都缩水一半」,而是【小样本 + 大效应 + 热领域】这一格缩得最狠。你该盯的是这一格,而不是平均值。
【极难发现】更反直觉的一层:即使没有发表偏倚,仅仅「在多个研究里挑显著的报告」这个动作,也会制造 decline effect (Schooler, 2011, Nature)。因为极端值在重复测量中必然向均值回归——这叫【均值回归】,不是效应消失。很多人把均值回归误读成「效应是假的」,这是两个完全不同的诊断,对应两种完全不同的补救:前者要修发表生态,后者要修抽样设计。
【观点】实践含义:读到一个效应量,先问三个问题——(1) 样本量多大?(2) 这是「挑出来的显著」还是「预先注册的全部」?(3) 这个领域有多少未发表的研究?三个都答不上来,就把它当成效应量的上界,而不是点估计。
【值得辩论】如果发表的效应量系统性高估,那么「用文献里的效应量做功效分析/样本量计算」是不是在拿一个被污染的输入去规划下一个研究?我们该不该给文献效应量加一个「缩水折扣」——折扣率按领域历史复现率定、按样本量定,还是干脆要求所有功效分析一律用保守先验?







0 Comments