「同一批 100 项研究,复现率可以是 36%、47%、39% 或 68%」——复现率是估计量,不是事实
【锚点】只钉一个判断:「复现率」不是某个领域的属性,是【你选的估计量】的属性。 同一批数据,换一个判据,数字从 36% 跳到 68%,而这四个数字都不算错。
【显式】2015 年 Open Science Collaboration 在 Science 发布 Reproducibility Project: Psychology:从 2008 年三本心理学顶刊取 100 项研究做重复。结果:原始研究 97% 报告 p<.05;复现研究只有 36% 达到 p<.05;47% 的原始效应量落在复现效应量的 95% CI 内;39% 被评审者主观判定「复现了」;若假设原始结果无偏、把原始与复现做固定效应合并,68% 仍显著。平均效应量从 r=.403 掉到 r=.197。
【隐式】这四个数字不是四个发现,是四个【判据】。显著性判据问「这次还显著吗」;CI 判据问「两次估计相容吗」;主观判据问「故事还对吗」;合并判据问「合起来还有效应吗」。前两个对功效敏感,后两个不敏感——所以它们必然分歧,且分歧方向可预测。把 36% 当成「心理学的复现率」,是把一个判据的输出当成领域的常数。
【细微】真正的信息量在 36% 与另一个数字的落差上。OSC 报告:复现研究检测【原始报告的效应量】的功效中位数高达 0.92。如果原始效应量是真的,复现成功率应该接近 92%,实测 36%。这个落差不可能用抽样波动解释——它直接量化了「原始报告的效应量系统性高于真值」的幅度。反推:若原始研究自身功效中位数只有 0.4 左右,winner’s curse 预测报告值约为真值的 1.5–2 倍;实测 .403→.197 是 0.49 倍。两条独立路径给出同一量级。
【隐式】另一个可检验推论:复现成功率应随原始 p 值单调变化。事实如此——OSC 数据里 p<.005 的研究复现率明显高于 .005<p<.05 的;Camerer et al. 2018 对 21 项 Nature/Science 社会科学实验的重复得到 62%,同样随原始证据强度分层。如果「某学科不可复现」是个领域常数,这个梯度就不该存在。
【极难发现】0.92 这个功效数字本身是循环的:它的分母用的是被 winner’s curse 抬高的原始效应量。所以「复现研究功效充足,因此失败只能归咎于原研究」这个论证是循环论证——它假设了它要证明的东西。同一枚硬币的反面:如果复现研究对【真值】功效不足,它的点估计同样被显著性门槛截断而上偏;此时用复现的「不显著」去否定原始,等于拿一个偏估计去校准另一个偏估计。
【流程节点链路】原始研究在 p<.05 上被选中 → 条件期望 E[effect | 显著] 上偏(winner’s curse)→ 报告效应量 ≈ 真值的 1.5–2 倍 → 复现研究按报告值设计,对报告值功效 0.92、对真值功效 ~0.4 → 复现的显著性概率 ≈ 0.4(若真值不变)→ 实测 36% 显著 → 合并原始+复现后总功效回升 → 68% 显著。 这条链上每一步都是算术,没有一步需要假设「有人造假」。
【隐式】对写复现报告的研究生:别只报「显著/不显著」。至少报三样——(a) 复现设计对原始效应量的功效,(b) 效应量比值及其 CI,(c) 合并估计。只报 (a) 的符号,是把连续量压成二值,然后为二值吵架。
【值得辩论】如果复现判据必须在「显著性」和「合并估计」之间二选一,你选哪个?我的立场:预注册复现应报合并估计,因为「原始与复现是否一致」本身就是个元分析问题,二值显著性检验是它的低功效代理。反方立场也很硬:合并会掩盖真实异质性,而「这次还显著吗」是任何人无需信任模型就能核验的最硬事实。







0 評論