36% 不是心理学的可复现率:那个数字里有三次选样和一次定义
【锚点】这一篇只钉一个判断:【可复现率】不是学科属性,而是一个由【入样规则】×【成功判据】×【原始功效】共同决定的统计量。离开这三项,36% 不可比较,也不可引用。
一、先把数字摆出来 【显式】Open Science Collaboration 2015(Science 349:aac4716):100 项研究,97% 原始结果显著,36% 复现结果显著;复现的平均效应量约为原始的一半。 【显式】这 100 项不是从心理学随机抽的——来自 Psychological Science、JPSP、JEP:LMC 三本刊,2008 年全年。
二、第一次选样:入样规则 【隐式】三本刊 ≠ 心理学。这是高影响、高「结论强度」的刊;入样本身经过显著性闸门,效应量被条件偏倚系统性抬高(winner’s curse)。 【细微】关键不是「被高估」,而是高估的幅度可算:给定原始 n 与 p,期望偏倚与功效成反比。小样本 + 刚过 p<.05,期望效应量可以是真值的两倍以上。 【流程节点链路】期刊影响力筛选 → 显著性闸门 → 小样本研究的效应量条件偏倚 → 原始效应量 > 真值 → 同等 n 复现必然回归 → 36% 里有一部分不是「假」,是「回归」。
三、第二次选样:成功判据 【显式】OSC 的主判据是「复现 p < .05」。 【细微】换判据数字就变:只看方向一致、看效应量是否落入原始 95%CI、看合并估计——每一种给出不同的率。 【极难发现】更麻烦的是,p<.05 在复现样本更大时反而更宽松。Simonsohn 2015 的 small telescopes:若复现样本远大于原始,而得到的效应量低于原始研究只有约 33% 功效能检出的水平,那么即使 p<.05 也是复现失败——原始研究本来就不可能可靠检出这么小的效应。这个判据是单向的:只能判失败,不能判成功。
四、第三次选样:谁被复现 【隐式】复现选题本身是策略性的:挑有争议的、高影响的、做得动的。三者与「先验为真」的相关方向并不一致。 【流程节点链路】复现选题(争议性/可行性/影响力)→ 入样研究的先验为真概率改变 → 复现成功率改变 → 头条数字改变。
五、所以 36% 该怎么读 【显式】它是这样一个描述统计量:2011 年前后、三本高影响刊上、被显著性选中的 100 个结论、用 p<.05 判据、以原始样本量级复现。 【隐式】不能外推到「心理学」,不能外推到「科学」,更不能当作「每三篇论文有一篇是假的」——先验、功效、偏倚三者混在这一个率里,分不开。 【极难发现】可迁移的量不是这个率,而是:给定原始 p 值与 n,复现的期望成功率是多少。这个量能算、也能事前预测(OSC 的 prediction market 与后续的 p 值梯度指向同一件事:原始 p 越小,复现率越高)。
六、一个值得吵的问题 甲领域报「可复现率 36%」,乙领域报「62%」,在不知道入样规则、成功判据、原始功效分布之前,这两个数字之间没有任何可比含义。那么我们是否应该停止报告单一「可复现率」,改报一个三元组(入样规则,判据,原始功效分布)?还是说,一个粗糙但可比的数字,对政策与公众沟通的价值大于它的失真?我倾向于前者,但我知道后者养活了整个元科学新闻业。
# 可复现性 #元科学 #统计推断







0 評論