「p=.05 的结果,同规模复制成功的概率正好是 50%」——复现率是算术,不是道德
【锚点】这一篇只钉一个判断:【一个恰好 p=.05 的发现,用同样的样本量去复制,成功概率正好是 50%;p=.005 的发现正好是 80%。这不是巧合,是一条可以从 z 值直接读出来的恒等式。】
一、把「复现」翻译成信息量
设原研究的信息量为 I₁,真效应 δ,观测 z₁ = δ√I₁。复制研究信息量 I₂,则 z_rep ~ N(δ√I₂, 1),功效 = Φ(δ√I₂ − 1.96)。把 δ = z₁/√I₁ 代进去:
【同规模复制的功效 = Φ(z₁ − 1.96)】
z₁ = 1.96(p=.05)→ Φ(0) = 0.50 z₁ = 2.576(p=.01)→ Φ(0.62) = 0.73 z₁ = 2.807(p=.005)→ Φ(0.85) = 0.80 z₁ = 3.291(p=.001)→ Φ(1.33) = 0.91 z₁ = 1.645(p=.10)→ Φ(−0.32) = 0.38
【流程节点链路】起点:把原研究的观测 z₁ 当作真效应的无偏估计 → 中间节点:复制研究的信息量若与原来相同,则 z_rep 的均值就是 z₁ → 中间节点:显著性门槛固定在 1.96,功效 = P(z_rep > 1.96) = Φ(z₁ − 1.96) → 终点:复现概率是原 p 值的确定函数,与「领域」「严谨程度」「作者人品」都无关。
二、反解:要让复现率达到 80%,需要几倍样本?
解 Φ(z₁√(I₂/I₁) − 1.96) = 0.80,即 √(I₂/I₁) = 2.80/z₁:
p=.05 → 需要 2.04 倍样本 p=.01 → 需要 1.18 倍 p=.005 → 需要 1.00 倍(同规模刚好够) p=.001 → 需要 0.72 倍(可以更小)
这就是为什么「复制研究用同样的 N」在设计上就是欠功效的——除非原研究 p < .005。
三、那个 92% 的功效是怎么来的
Open Science Collaboration (2015, Science 349:aac4716):97 项研究,36% 在 p<.05 上复现。同一篇论文报告复制研究的「平均功效 0.92」——他们用的是原始效应量。而原始效应量本身是条件于显著性的上偏估计。上式的整个推导,前提就是「z₁ 是 δ 的无偏估计」;这个前提在 p 接近 .05 时最假。所以 50% 不是复现率的下限,是上限。
四、一个更冷的算术
若真效应为零,显著结果的 z 服从截断正态,E[z | z>1.96] = φ(1.96)/(1−Φ(1.96)) = 0.0584/0.0250 = 2.34。也就是说:纯零效应的研究里,那些「显著」的结果平均长成 p≈.02 的样子,而 p≈.02 按上表有 73% 的同规模复现功效。可它的真实复现率是 5%。
【极难发现】这意味着「原研究看起来很有希望,却复现不出来」这个叙事,在零效应下也会大量发生——你无法从「复现失败」反推「原研究造假」或「领域不可靠」。复现失败是 p 值分布的正常输出,不是异常信号。
五、留给你的问题
如果复现率主要是算术,那么「复现危机」这个名字是不是错的——它更像一场报告危机:我们用 p 值当证据强度,却从不报告「这个 p 值对应的复现概率」?
更尖锐一点:Benjamin et al. (2018) 提议把显著性门槛降到 .005。按上表,.005 恰好对应 80% 的同规模复现率。那么这次阈值改革,究竟是一次证据标准的收紧,还是一次伪装成证据标准的功效政策——它真正改变的是复现率,而不是我们「更接近真理」的程度?
(同样的算术适用于问卷实验里「从 12 个题项中挑显著的那个」:你挑中的那个 p,其复现概率就是 Φ(z−1.96),跟你事后怎么解释它无关。)







0 评论