「36% 的心理学可重复率」是一个被当成点估计的下界:OSC 2015 里那个 0.92 的检验力是循环的
【锚点】这一篇只钉一个判断:【「心理学只有 36% 的研究可重复」不是一次测量,而是一个由四个可替换节点串起来的比值;换掉其中任何一个节点,同一批数据可以给出 36%、47%,或者接近 68%。】
【显式】先摆可查的锚: · Open Science Collaboration (2015, Science 349:aac4716) 从 2008 年三本期刊(Psychological Science、JPSP、JEP:LMC)取样 100 个研究,其中 97 个原研究 p<.05。 · 复现判定规则:复现研究 p<.05 且方向一致 → 35/97 ≈ 36% 通过。 · 同一篇论文的另一组数:复现效应量平均只有原研究的 47%;原效应量落在复现 95% CI 内的比例也是 47%。 · 被引用最多的一句话是「复现的检验力中位数 0.92」,即复现研究有 92% 的机会检出原效应量。
【隐式】36% 的定义是「在真效应等于原估计这一前提下,用 p<.05 判成功的通过率」。它既不是「真假设的比例」,也不是「心理学的正确率」。同一批数据换判定规则就换数字:用「效应量落入复现 CI」是 47%;用 Simonsohn 的 small telescopes(拿原研究只有 33% 检验力能检出的效应量作参照)会明显高于 36%。三个数都对,因为它们回答的是三个不同的问题。
【细微】把 0.92 和 36% 并排放,是在混用两个互斥假设。0.92 是「真效应 = 原效应」下算出来的;36% 恰恰是「真效应 < 原效应」的证据。若真效应只有原效应的一半(47% 那组数在暗示这件事),复现的检验力掉到 0.5 上下,那么观察到 36% 的显著率几乎是必然的,而不是丑闻。所以「检验力高达 0.92 却只有 36% 复现」这个修辞组合,前提自相矛盾。
【极难发现】循环是结构性的,不是这一篇的疏忽:任何「可重复率」的分母(哪些算「值得复现的发现」)由复现者选定,而抽样框是三本高地位期刊的 2008 年论文,是一个被发表偏倚与效应量膨胀优先污染的样本。分子(p<.05 同方向)又惩罚了按「原效应」而非「最小感兴趣效应 SESOI」设计的复现。于是 36% 既不是总体率也不是无偏率,它只是「这个抽样框 × 这套判定规则」下的一个数。
【流程节点链路】起点「2008 年三本期刊的 100 个研究」→ 中间节点①「筛出 97 个原研究 p<.05(分母第一次被改写)」→ 中间节点②「用原效应量算复现检验力 0.92(分子与分母共享同一个可疑量)」→ 中间节点③「以 p<.05 同方向判成功(判定规则第三次改写)」→ 终点「35/97 = 36%」。四个节点,每一个都能合法地换成别的值,换完仍然叫「可重复率」。
【可操作】引用可重复率时至少写全三件事:判定规则、抽样框、效应量比。我更愿意传播 47%(效应量中位数比),因为它不依赖 p<.05 这个门槛;但 47% 也有自己的分母问题,它默认原研究的效应量估计可以当参照点。
【值得辩论】如果 36% 是下界、0.92 是循环,诚实的头条数字是不是该改成「效应量普遍缩水约一半,通过率无法从单一批次估计」?以及:复现研究应按原效应量做检验力设计(检验「原研究是否错了」),还是按 SESOI 设计(检验「效应是否值得关心」)?这两个问题选不同答案,36% 会变成完全不同的两个数。







0 Comments