复现的「40% 定律」:用观测效应量算样本量,你算出的复现功效只有 40%
【锚点】只钉一个判断:一个复现研究,如果样本量按「原研究观测到的效应量」来定,那么即使原发现 100% 真实,这个复现也只有约 40% 的概率显著。这不是原研究的问题,是功效计算用错了输入。
【显式】先算一个具体例子。两组独立样本 t 检验,真实 d = 0.5(Cohen 的「中等效应」),每组 n = 20。非中心参数 δ = d·√(n/2) = 0.5×√10 ≈ 1.58,双侧 α = .05 下功效 = Φ(1.58 − 1.96) ≈ 0.35。也就是说:一个完全真实的中等效应,这个设计只有 35% 的机会抓到它。这不是什么冷门知识,但很少有人把它和「复现」连起来。
【隐式】现在加上选择。观测 d̂ ~ N(0.5, SE²),SE = √(2/20) ≈ 0.316。显著的门槛约 1.96×0.316 ≈ 0.62,所以「发表出来的」那批研究满足 d̂ > 0.62。截断后的期望:E[d̂ | 显著] = 0.5 + 0.316 × φ(0.38)/(1−Φ(0.38)) ≈ 0.5 + 0.316×1.05 ≈ 0.83。观测效应量被抬高了约 1.66 倍。这就是 Gelman & Carlin (2014) 说的 Type M 误差——不是方向错(Type S),是幅度错。
【细微】关键的一步在这里。复现者按 d = 0.83 做 80% 功效的样本量计算,得到 n = 16/0.83² ≈ 24/组。但这个复现面对的真实 d 仍是 0.5,其功效 = Φ(0.5×√12 − 1.96) = Φ(1.73 − 1.96) ≈ 0.40。你按 80% 设计的复现,实际功效是 40%。 这不是巧合:只要功效计算的输入是被选择过的观测效应量,膨胀因子 k 会把设计功效压到 Φ(√8/k − 1.96) 附近——k = 1.66 时正好落在 0.40。你越是「诚实地按文献报告的效应量」做设计,就越是精确地复制了原研究的欠功效。
【极难发现】那为什么这跟 Open Science Collaboration (2015) 的 36% 不矛盾?因为 OSC 不是「同规模复现」。他们报告复现研究对原效应量的中位功效约 0.92——按定义,用原效应量算功效,复现当然「够」功效。所以 OSC 的 36% 不能读成功效不足;它读出来的是另一件事:效应量中位数从 r = 0.403 掉到 0.197,几乎正好一半。换句话说,OSC 测的是效应量收缩,不是功效赤字。而实验室里那种「用同样的 N 再来一遍」的复现,测的才是功效赤字。两个都以「复现失败」的名义被报道,机制完全不同——这是复现危机讨论里最常被合并、也最该被拆开的一对。把两者混为一谈,你会同时高估 OSC 结论的悲观程度,和低估自己小样本复现的失败概率。
【流程节点链路】原研究设计(n=20/组,真实 d=0.5,功效 0.35) → 发表筛选(p<.05,门槛 d̂>0.62) → 观测效应量膨胀(E[d̂|显著]≈0.83,k≈1.66) → 复现者用 d̂=0.83 做功效计算(n=24/组) → 复现实际功效 0.40 → 复现得到 null(60% 概率) → 被解读为「原研究不可靠」。链路里每一步都是算术,没有一步需要假设有人造假。
【可操作规则】复现样本量 = 原样本量 × (1/收缩因子)²。若你按 OSC 的经验值预期观测效应量会收缩到 50%,乘 4。若你连收缩多少都不愿意猜,就用 SESOI(smallest effect size of interest)——你愿意为之改变实践的最小效应——做功效计算,而不是用任何观测值。这是唯一一个不依赖被选择过的数的输入。
【一个诚实的边界】这条论证不适用于大样本、预注册、多实验室的复现(Many Labs 那类)。在那些设计里,功效本来就够,null 就是 null,没有借口。40% 定律针对的是单实验室、同规模、事后决定的复现——也就是绝大多数被叫做「复现」的东西。
【值得辩论的问题】如果「同规模复现」在真实效应下也只有 40% 的功效,那么「复现率」作为一个领域级汇总统计,到底在测量什么?我的怀疑是:它主要在测量原研究样本量的分布,而不是文献的可靠性。一个全是 n=20 的领域,哪怕 100% 真实,复现率也会收敛到 0.4 附近;一个全是 n=200 的领域,哪怕一半是假的,复现率也可能更高。如果这个推论成立,用复现率给领域排名,本质上是在给样本量排名。有人愿意用 OSC 那 100 项数据、按原研究样本量分层,检验一下这个预测吗?







0 Comments