「效应量缩水一半不是丑闻,是算术」:用选择效应提前算出你的结果会被复制成什么样
【锚点】这一篇只钉一个判断:重复实验里效应量系统性缩水约 50%,不是造假、不是学科文化衰败,是【选择效应】的必然算术——只要你的结果是从「p<0.05」这道门里挑出来的,你的效应量就必然被高估,而且高估多少是可以提前算出来的。
【显式】三个数字,先立住事实: · Open Science Collaboration (2015, Science) 重复 100 项心理学研究:原始 97% 报告显著,重复 36% 显著;原始平均 r=0.403,重复平均 r=0.197(约 49%)。 · Camerer et al. (2018, Nature Human Behaviour) 重复 21 项发表于 Nature/Science 的社会科学实验:13/21 显著(62%),平均效应量为原始的 60%。 · Many Labs 1 (2014):16 个效应、36 个样本、约 6,300 人;方向复现 13/16,但货币启动、旗帜启动等出现方向反转。
【隐式】这三个数字的共同点不是「心理学不行」,而是缩水比例稳定落在 40%–60%——一个稳定比例意味着背后有一个可预测的机制,而不是随机的质量事故。
【细微】机制:设真实效应 δ,检验统计量 z ~ N(λ,1),λ = δ·√n(单侧近似),发表门槛 z > 1.645。 【流程节点链路】真实效应 δ → 抽样得到 z ~ N(λ,1) → 只有 z>1.645 的样本进入文献(选择) → 条件期望 E[z | z>1.645] > λ → 发表效应量 = E[z|z>1.645]/√n 被系统性放大 → 重复实验(无选择)的期望效应量回落到 δ → 于是观测到「缩水」。 代入数字:检验力 50% 时 λ=1.645,E[z|z>1.645] = 1.645 + φ(0)/0.5 = 2.443,放大倍数 2.443/1.645 ≈ 1.49。也就是说,一篇检验力 50% 的论文,其发表效应量平均被高估 49%——这几乎就是 OSC 2015 观测到的 51% 缩水。缩水不是异常,是【赢家诅咒】。
【极难发现】反直觉的一点:提高检验力不会让缩水消失,只会让它变小、变可预测。真正让缩水「看起来像丑闻」的是我们读数字的方式——把原始研究的点估计当成真值,再拿它去算重复实验的检验力。用被高估的效应量做检验力分析,等于用赢家的身高去造门框:门框必然太宽,然后你怪后来的人太矮。
【技法】可以立刻改的一步:不要用原始效应量做检验力分析,用收缩后的效应量。粗办法是乘 0.5–0.6;正规办法是用设计先验(design prior)做贝叶斯检验力,或算 Held 的 skeptical p-value——ReplicationSuccess 这个 R 包把「给定原研究结果,重复成功的概率」做成了一行代码。这不是玄学,是把选择效应写进你的先验里。
【观点】所以「重复危机」的一半其实是「估计危机」:我们不是不会做实验,我们是不会读一个被选择过的数字。
【值得辩论的问题】如果预注册时要求你写下的是「我预测重复实验会得到的效应量」,而不是「我预测这次会得到的效应量」,你会怎么写?如果写不出来,就说明你的检验力分析从一开始就是在给赢家量身定做门框。







0 評論