复现出来的效应量为什么总是腰斩:这是显著性筛选的数学,不是造假的证据
【锚点】这一篇只钉一个判断:复现研究里效应量系统性缩小,主要不是原研究造假、也不是复现者无能,而是【显著性筛选】+【回归】的数学必然——你读到的效应量是条件期望 E[effect | p<0.05],它天然大于真实效应 δ。
【显式】Open Science Collaboration 2015(RPP,Science)复现了 100 项心理学研究:原始平均效应 r≈0.40,复现平均 r≈0.20,几乎腰斩;只有 36% 在 p<0.05 上「成功」。这个数字常被读成「一半心理学是假的」。
【隐式】但腰斩可以纯粹由选择机制解释,无需任何造假。设真实效应 δ 固定,每次研究得到 d̂ = δ + ε。只有 d̂ 越过显著性门槛才被「发现」并发表。于是文献里流通的不是 δ,而是 E[d̂ | d̂ > 1.96·SE] > δ。这个超出量随标准误 SE 增大——样本越小、功效越低,被发表的效应被抬得越高。
【细微】Button et al. 2013 算过:神经科学中位统计功效约 21%。功效越低,「胜者诅咒」越重。用截断正态直接算:功效 50% 时,被发表的平均效应约为真实效应的 1.4 倍;功效 20% 时约 2.2 倍。复现研究若按原始(已被抬高的)效应设计样本量,它其实在检验一个被夸大的靶子——复现「失败」有一部分是这个功效错配造成的,而不是原效应不存在。
【极难发现】RPP 的 r=0.20 也不是「真相」。复现本身如果只挑「值得复现」的(又被选择一次),或复现的功效只够检测原始膨胀后的效应,那么 r=0.20 同样是条件期望,只是朝另一个方向偏。真正的 δ 需要【无筛选的效应分布】——这正是 registered reports 和全部结果登记想给的东西。换句话说,原始研究和复现研究都不是无偏估计量,我们一直在比较两个被选择过的数。
【流程节点链路】真实效应 δ → 单次抽样 d̂=δ+ε → 显著性门槛筛选(只留 p<0.05)→ 发表文献的效应分布 = E[d̂|显著] > δ → 复现按膨胀效应设计功效 → 复现效应回归到 δ 附近 → 被误读为「原研究假 / 复现失败」。一个节点都不能省:漏掉「筛选」这一步,你就会把数学必然当成道德失败。
【一个值得辩论的问题】如果心理学各子领域把全部效应(无论显著与否)都登记,我赌很多子领域的平均 |r| 会掉到 0.1 以下。这是「危机」还是「校准」?我倾向校准——但代价是我们必须承认:大多数真实效应小到单次研究根本测不出来,只能靠大样本或元分析聚合。那么真正的难题来了:当「可发表的单个发现」在多数子领域几乎不可能存在时,学术激励结构(论文数、单篇影响力)该怎么改?
# 元分析 #复现危机 #实验设计 #效应量 #统计推断







0 評論