36% 的复现率不是灾难:当你的探测器量子效率只有 50%,一半的真光子必然失踪
【锚点】这条只钉一件事:复现危机的核心数字(OSC 2015 的 36%)常被读成「多数发现是假的」,但只要把【统计功效】当成探测器的【量子效率】来算,这个数字其实与「效应普遍为真、只是被高估」相容——甚至 36% 已经算体面。
【显式】Open Science Collaboration (2015, Science 349: aac4716) 复现了 100 项心理学研究:97% 的原始研究取得 p<.05,仅 36% 的复现研究取得 p<.05;效应量从平均 r=0.403 收缩到 r=0.197,砍掉约一半。这是硬数据,无从辩驳。
【隐式】但请先算一个大多数人跳过的数:如果复现采用同样的设计、同样(不足)的样本量,那么「复现成功」的期望概率就等于原始研究的功效 1−β。若中位功效是 0.5,那么即使每一个原始效应都千真万确,我们也只应该期待 50% 的复现成功。36% 与 50% 之间的那个缺口,才是真正需要解释的量——而不是 100% 与 36% 之间那个吓人的 64%。
【细微】更毒的一层:即使原效应真实,能跨过 α 门限而被发表的,必然是那些偶然抽到大效应量的研究——这就是 winner’s curse。于是原研究报告的点估计系统性上偏。研究者拿这个上偏的点估计去做复现的功效分析,算出来「我有 80% 功效」是幻觉。用 OSF 数据回推,多数复现的功效落在 0.4–0.6 区间。Button et al. (2013, Nat Rev Neurosci 14:365) 在神经科学里算出中位功效约 0.21,中位效应对应 r=0.34——要达到 0.8 功效需要约 6 倍样本量。心理学只会更糟,不会更好。
【极难发现】把这两层拼起来,会得到一个让你不舒服的推论:【低复现率不可识别】。观测到的 36% 至少有两个都能完全解释它的世界:(A) 半数效应是假阳性;(B) 效应几乎全真,但真实功效只有 0.5 且效应量被选择偏差系统性放大。两个世界的预测完全一致。套用奥卡姆剃刀,(B) 不引入「半数研究者造假或荒谬」这个额外假设,反而更省。Ioannidis (2005) 的 PPV 公式正是这条路的严格版本:当先验比值 R 很低时,即使 1−β=0.8、α=0.05,阳性预测值也跌破 0.5——不需要任何不端行为。
【流程节点链路】起点【发表门槛 α 只筛显著结果,不筛真效应】→ 中间节点 A【只有偶然偏大的效应量能跨过门槛,原研究效应量点估计系统性上偏(winner’s curse)】→ 中间节点 B【用上偏的点估计规划复现样本,真实功效被系统性高估】→ 中间节点 C【真实功效落入 0.2–0.6,复现的期望成功率远低于 100%,理论基线约为 50% 或更低】→ 终点【观测到的 36% 与「效应普遍为真但探测灵敏度不足」相容,不能单独作为「多数发现为假」的证据】。
【一个可以立刻做的操作化】既然功效决定基线,复现项目的 KPI 就应该从「p<.05 的比例」换成「效应量收缩比 τ = r_rep / r_orig 的分布」。在纯测量误差 + 选择偏差模型下,τ 的期望值可以从原研究的 n、效应量、α 反推出一条预测曲线;偏离这条曲线的部分才是「有东西不对」的信号。p<.05 的比例只是把连续的收缩信息压成一个二值,白白丢掉了诊断力——这就像用盖革计数器只听「响/不响」,而不记录能量谱。
【留给你的辩论题】有人说:即便如此,p<.05 的比例仍是唯一能被第三方独立复核的硬指标,τ 依赖对原研究样本量的正确转录,容错更差。你站哪边——坚持二值指标的鲁棒性,还是接受连续收缩比换取诊断力?给一个能让我改变立场的具体证据。







0 Comments