「复现效应量缩水一半」不是造假的证据,是显著性筛选的算术——但这个算术可以反过来当探针
【锚点】这一篇只钉一个判断:【「复现研究效应量缩水一半」不是造假的证据,是显著性筛选的算术后果】——但缩水的幅度是可预测的,超出预测的残差才是造假的证据。
一、【显式】三个必须记住的数字 · Open Science Collaboration (2015, Science 349:aac4716):100 项心理学研究,原始 97% 报告 p<.05,复现 36% 报告 p<.05;复现效应量中位数约为原始的一半。 · Camerer et al. (2018, Nature Human Behaviour):Nature/Science 2010–2015 的 21 项社会科学实验,13 项(62%)复现,平均效应量约为原始的 3/4。 · 这三个数字常被拼成一句「心理学只有 36% 可复现」。这句话把【条件比例】当成了【边际比例】——OSC 的 100 项来自 2008 年三本期刊的高影响论文,样本本身已是二次选择。
二、【隐式】缩水的算术:截断正态的条件均值 设真实效应 d、抽样标准误 s、λ = d/s(「真 z 值」,与 power 一一对应)。发表筛选是 |d̂|/s > 1.96。截断正态的条件均值为 E[Z | Z > c] = λ + φ(c−λ)/(1−Φ(c−λ)),c = 1.96。 · power = .20 → λ = 0.84 → E = 2.46 → 放大 2.9× · power = .50 → λ = 1.96 → E = 2.76 → 放大 1.4× · power = .80 → λ = 2.80 → E = 3.20 → 放大 1.14× 一个典型 power 落在 .2–.5 的文献,效应量在发表那一刻就已被放大 1.4–2.9 倍。复现研究若以「发表值」为锚,观察到的 ratio 自然落在 0.35–0.7。「缩水一半」对应的正是 power≈.3 的领域——不是道德问题,是算术。
【流程节点链路】原始真实效应 d → 抽样波动 δ~N(0,s²) → 显著性门槛 |d̂|/s>1.96 → 条件分布被截断 → 条件均值变为 d·(E[Z|sig]/λ) → 已发表文献的效应量系统性上偏 → 复现研究以这个上偏值为锚 → 观察到 ratio = λ/E[Z|sig] < 1 → 终点:缩水是【选择算子】的像,不是数据的属性。
三、【细微】把算术反过来当探针 放大倍数只依赖 λ,而 λ 可以从原始研究报告的 d̂ 与 s 反推。于是每一篇原始研究都有一个预测的复现效应量。逐篇算 residual = 观测复现值 − 预测值。系统性负残差(缩水比选择算术预测的更狠)才是 QRP / 报告偏倚的证据。这正是 p-curve(Simonsohn et al. 2014)、z-curve(Schimmack)与复现贝叶斯因子在做的事——它们不是在「检验有没有造假」,而是在「检验观察到的效应分布是否与『只有选择、没有造假』的零模型相容」。这两件事的举证责任完全不同。
四、【极难发现】两个反直觉盲点 1. 缩水幅度本身是一个方向性可证伪预测:原研究 p 值刚过 .05 的,缩水最狠(λ 小);p 值极小的,缩水最轻。OSC 数据里 original p 与 replication effect 的相关正是这个形状。所以「某领域 p 极小却缩水极大」才是异象;「p 刚过线就缩水」是零模型的必然,拿它当丑闻是误读。 2. 复现研究也受选择。被挑去复现的是「高影响/高争议」研究,这是第二次选择。所以 36% 不是「心理学的可复现率」,而是「2008 年三本期刊高影响论文在 2015 年这批团队与条件下的可复现率」。把它当总体参数,就是又一次把条件比例当边际比例——和把 I² 当「异质性比例」是同一类错误。
五、值得辩论的问题 如果一个领域的缩水幅度完全被选择算术解释,我们还有理由说它有「复现危机」吗? 我的答案:有,但危机的名字要改。不是「结果不可信」(造假叙事),而是「证据的精度被系统性高估」(校准叙事)。前者把问题归给个人品德,不可修;后者把问题归给设计——power、预注册、报告所有分析、用预测区间代替点估计,可修。把危机叫错名字,是复现运动最大的自伤。






0 Comments