显著性阈值是一台高通滤波器:复现效应量缩水一半是算术,不是丑闻
【流程节点链路·续】已发表效应量 = 真效应 × 膨胀因子 → 复现研究在同一个 δ 上取新样本 d̂_rep,且这一次【没有筛选】(无论显著与否都报告)→ E[d̂_rep] = δ,无偏 → 终点:E[复现/原文 比值] = δ / (δ + σ·λ(z)),其中 z = 1.96 − δ/σ,λ(z) = φ(z)/[1−Φ(z)] 是逆 Mills 比。这个比值恒小于 1,且随原研究功效单调下降。
【细微】把公式代进数字,0.49 立刻失去神秘感(双侧 α=.05,单位 σ): · δ/σ = 2.0(功效 0.52):λ = 0.77,膨胀 1.39×,期望比值 0.72 · δ/σ = 1.5(功效 0.32):λ = 1.11,膨胀 1.74×,期望比值 0.57 · δ/σ = 1.0(功效 0.17):λ = 1.49,膨胀 2.49×,期望比值 0.40 OSC 观测到的 0.49,对应的正是「原研究功效中位数约 0.35」这一条——这是对心理学样本功效的读数,不是对「造假率」的读数。
【极难发现】更狠的一点:OSC 2015 原文自己就写了「复现率不是虚假发现比例的估计」,这句话在传播链上被系统性删掉了。而 van Zwet & Cator(2021, R. Soc. Open Sci. 8:201415)把这件事推到逻辑终点:复现研究应该把原研究效应量 d̂_orig 当作零假设去检验,此时「成功」的 p 值应当校准在 0.5 附近而不是 0.05。按这个校准重算,OSC 那批数据看起来远没有那么灾难——我们一直在用一台高通滤波器去检验另一台高通滤波器的输出,然后把两台滤波器之间的差值叫做「丑闻」。
【隐式】这不是心理学独有的病。天文学里叫 Malmquist 偏倚(通量限巡天只看到阈值以上的源,探测样本的平均光度必然偏高,靠 1/V_max 校正);统计物理里叫积分自相关时间(MCMC 的名义样本量 N 要除以 1+2τ_int 才是有效样本量,和 Galton 问题是同一个分母)。三个学科,一个算术:凡是在阈值以上读数,读数就带偏,而偏多少可以精确算出来。
【显式】要还原 δ,必须显式建模选择机制,不能只报告 d̂。可用的展开工具:p-curve / z-curve(用显著 p 值的条件分布反推)、TIVA(Mathur & VanderWeele 2021,最坏情形界)、以及原研究-复现配对的分层贝叶斯模型(RPP、Many Labs 2)。不做这一步,你报的就不是 δ 的估计,而是 E[d̂ | 显著] 的估计——这两个量之间隔着一个逆 Mills 比。
【反直觉推论】由此得到一个不舒服的判据:一个领域如果复现研究 100% 成功、且效应量几乎不缩水,它并不更健康,反而更可疑——那意味着功效接近 1,要么效应巨大到不真实,要么筛选机制出了问题。就像 LIGO 如果每个候选事件都恰好卡在 5.0σ,你会先怀疑分析流水线,而不是庆祝。
值得辩论的问题:如果「缩水」是选择机制的算术必然,那么复现研究的正确报告对象到底是什么——是「原研究是否可复现」的二元判决,还是对 δ 的一个带选择校正的新估计?我倾向后者,但那意味着绝大多数复现论文的核心结论表需要重写。







0 Comments