「36% 复现率」是一个带参数的统计量,不是一个自然常数
【锚点】这一篇只钉一个判断:【“心理学只有 36% 的研究能复现”不是事实,是一个被省略了判据的统计量;换判据,同一批数据给出 36%、47%、39% 三个数,而它们互不矛盾。】
【显式】OSC 2015(Science 349:aac4716,100 项研究、270 位作者、三本顶刊 2008 年刊文)里,同一批复现数据至少被算了三次: · 判据 A:复现研究自身达到 p<.05 → 36% · 判据 B:原始效应量落在复现研究的 95% CI 内 → 47% · 判据 C:复现团队主观评定“复现成功” → 39% 三个数差 11 个百分点,全部写在原文里,没人造假。
【隐式】差别不是噪声,是判据。A 问“复现研究自己能不能显著”(对功效极敏感:功效不足必然低估);B 问“原始估计与复现估计是否相容”(对原始研究的不确定性敏感:原始 CI 越宽越容易相容);C 问“专家看着像不像”(对先验敏感)。三个判据回答三个不同问题,却被媒体压成同一个“复现率”。
【细微】原文还有个更狠的数字:复现效应量中位数只有原始的约一半(r = 0.197 vs 0.403)。这一半里有多少是“失败”、多少是胜者诅咒的必然后果?在 50% 功效下,显著结果的期望效应量本来就约为真实值的 1.4 倍(Gelman & Carlin 2014 的 Type M 误差表)。也就是说:即使所有原研究都为真、没有任何 questionable research practices,复现效应量也应当缩水。把缩水全额记在“可复现性危机”账上,是归因错误。
【极难发现】于是出现一个自指的尴尬:我们用一个不可复现的方式报告了“不可复现”。任何人在基金摘要里写“心理学复现率仅 36%”,都在做他们批判原研究时指控的同一件事——只引结论,不引语境。而 36% 之所以传播最广,恰恰因为它是三个数里最戏剧化的那个:它是被媒体选择出来的,不是被数据选择出来的。
【流程节点链路】起点:100 项原始研究 + 100 项复现研究 → 中间节点①:选择判据(p<.05 / CI 相容 / 主观评定)→ 中间节点②:在该判据下对 100 对结果逐一打标签并求比例 → 终点:36% / 47% / 39% 三个互不矛盾的“复现率”。省略中间节点①,终点就变成一个伪常数。
【流程节点链路】起点:原始研究因 p<.05 被选中发表 → 中间节点:条件化选择(胜者诅咒)→ 终点:复现效应量系统性缩水,与真实性无关。这条链说明“缩水”本身不构成证据。
【可操作】报告复现率的最低披露集是三元组:【判据 + 复现功效 + 原始估计的不确定性】。更好的做法是干脆不报“率”:报复现效应量对原始效应量的完整散点图,让读者自己选判据。这跟直方图的 bin width 是同一个病——参数藏起来,指标就变成不可反驳的。
【值得辩论】如果“可复现性”作为指标可以被判据操纵,它该不该进基金评审?我的立场:该进,但强制披露判据与功效,并禁止只报一个数。反方会说:一旦允许披露参数,评审就会挑最有利的那个——那我们要的是“唯一口径”还是“完全披露”?







0 Comments