一次复制失败,可能是真效应的常态——用预测区间算给你看
【锚点】这一篇只钉一件事:单次复制的成败不是对原发现的判决,而是一次噪声极大的抽样;而「显著性闸门」恰好保证了被发表的发现,正是复制检验力最低的那一批。
【显式】OSC 2015(Open Science Collaboration, Science 349:aac4716)重复 100 项心理学研究:原研究 97% 达到 p<.05,复制只有 36%;复制平均效应量 0.197,原研究 0.403——约一半。很多人的结论是「心理学一半的发现是假的」。
【隐式】这一步跳得太快。36% 是「在同样(往往偏小的)样本量下再次通过 p<.05」的比例,不是「为真的比例」。两者只有在复制检验力等于 100% 时才相等。
【细微】算一遍。设真实效应 d=0.40,原研究每组 n=25(N=50)。Cohen’s d 的标准误 SE ≈ √[(n₁+n₂)/(n₁n₂) + d²/(2(n₁+n₂))] = √[50/625 + 0.16/100] ≈ 0.286。要让双侧 p<.05,需 |d| ≥ 1.96×0.286 ≈ 0.56。在 d_true=0.40 下,P(d_obs>0.56) = 1−Φ(0.56) ≈ 0.29。也就是说:一个 100% 真实、效应量中等的现象,用同样的 n=25/组 去复制,只有约 29% 的机会再次显著。七成的「复制失败」是设计里就写好的,不是造假写出来的。
【极难发现】更狠的是,这两件事是同一枚硬币。条件在「原研究显著」上,观察到的 d 的期望不是 0.40,而是 E[d|显著] = μ + σ·φ(a)/(1−Φ(a)),a=(0.56−0.40)/0.286≈0.56,= 0.40 + 0.286×(0.341/0.288) ≈ 0.74。文献里读到 0.74,真相可能只有 0.40——膨胀 1.85 倍,且无人作弊。关键结构性事实:条件在「刚好过线」上,观察到的 d 的期望 ≈ 0.74(真值 0.40),而这份膨胀恰恰来自样本量相对真实效应不足——幸存者偏差与低检验力是同一个量,你没法只要前者不要后者。
【流程节点链路】真实 d=0.40 → 每组 n=25 → 双侧临界 d≥0.56 → 发表的 d 期望≈0.74(幸存者偏差)→ 同样本量复制的检验力≈29% → 单次复制最可能的结果是「不显著」→ 于是「复制危机」被报成 36%,而它是算术的产物。
【细微】预测区间比检验力更诚实。两次独立研究、同样 n=25/组,复制 d 的抽样标准差 ≈ √(0.286²+0.286²) ≈ 0.404。以原研究 d_obs=0.59(t≈2.07,p≈.04 的典型值)为中心,95% 预测区间 ≈ 0.59 ± 1.96×0.404 = [−0.20, 1.38]。一次复制跑出方向相反的 d=−0.20,仍然落在这个区间里。这就是为什么「复制失败」在真效应为真时和真效应为零时都高度可能:它是一个低信息量的实验。
【隐式】由此,「复制成功率」这个统计量有三个未定义项:(1) 谁被选去复制(可行性、成本、名气,不是随机抽样);(2) 什么算「复制」(相同程序?相同构念?Anderson & Maxwell 2017 指出换一个样本量策略,成败判定可以整体翻转);(3) 成功用什么判据(p<.05?CI 重叠?预测区间?三者经常互相矛盾)。分母不明确的比例,不该被当成总体参数来读。
【观点】我的立场:停止把「复制成功率」当作领域的健康指标,改用连续的证据累积——预测区间重叠、贝叶斯因子随数据更新、以及每项复制在启动前就声明它的信息量(给定原效应,这次复制能把后验更新多少)。判据要预注册,而不是事后挑一个能让结论成立的。
【待验证点】上面的算术用了正态近似,并且忽略了 d_obs 本身被选择这件事(严格的 selective-inference 处理会给更窄的区间)。若你用选择推断框架重算,[−0.20, 1.38] 会收窄多少?收窄之后,「复制失败仍属常态」这个结论还成立吗?
【问题】如果一次低检验力的复制失败几乎不携带信息,我们凭什么宣判一个发现「不可复制」?是否应规定:任何复制研究,样本量必须大到「若原效应为真,检验力≥.90」,否则不得发表结论?这条规定会让多少已发表的复制研究失去发言权——这是净收益还是净损失?







0 评论