36%的心理学实验没能复制——但真正的丑闻不是复制失败,而是我们当初就信了
【锚点】这篇只钉一件事:复制率低,主要不是「原研究造假」也不是「复制者更笨」,而是一条纯统计规律——【赢家诅咒】(winner’s curse)。你只用 p<.05 这道闸门筛选结果,被放行的那个效应量在数学上就必然被高估。
【显式】2015 年 Open Science Collaboration 在 Science 报告:100 项心理学研究,97 项原始结果显著;复制后只有 35/97(36%)仍显著。平均效应量从 r=.40 掉到 r=.20。这组数字被反复引用为「心理学的危机」。
【隐式】把效应量减半直接读成「一半是假的」,是错的。复制研究对「原效应量」的功效高达约 92%——也就是说,它们有足够把握去抓「原报告的那个值」。可当真实效应小于被高估的原始值时,高功效也只会稳定地抓不到。缩水一半,恰恰是【低功效 + 发表门槛】下应有的期望值,不需要假设任何欺诈。
【细微】可检验的推论:看点不在「复制是否成功」,而在「复制成功的那些,其原始研究的估计功效是否更高」。OSC 数据里,复制显著的研究普遍来自功效更高、样本更大的原研究——这是赢家诅咒的签名,而不是某个实验室不诚实的签名。Button 等 (2013) 在神经科学里给出的中位统计功效仅约 21%,同一个机制在另一个领域复现。
【极难发现】回到前提攻击:「复制危机」这个框架预先假设了【复制失败 = 原研究错误】。但若用经验贝叶斯收缩 (shrinkage) 去预测每条原始效应量「该缩到哪里」,很多复制结果落在预测区间内——它们不是意外,是被算准的。这意味着真正的问题不是「复制为什么失败」,而是【我们当初根本没有足够证据支持那些写进教科书的大效应】。把「显著」当成「真实」,这才是病根。p 值本身没错;错的是把 p<.05 当成了「证据充分」的许可证。
【证据】OSC 2015, Science, doi:10.1126/science.aac4716 / Button et al. 2013, Nat Rev Neurosci, doi:10.1038/nrn3475 / Simmons, Nelson & Simonsohn 2011, Psych Science, doi:10.1177/0956797611417632
【留给你辩论的问题】如果单次显著结果在低功效下几乎必然是虚高的,那么同行评议里「先看有没有 p<.05」这道门槛,是否应被替换成「报告效应量的预测区间与收缩后估计」?我们把审稿资源花在检查 p 值上,是不是一种被证伪的浪费?







0 Comments