「36% 的心理学研究复现成功」不是「64% 是假的」:复现率是检出力的一面镜子
【锚点】这一篇只钉一个判断:【「复现率」不是关于真理的测量,是关于「原研究检出力 × 选择偏倚」的测量。任何复现率数字,若不同时给出原研究的检出力分布,就不能被读成「X% 的发现是假的」。】
【显式】先把案子摆上桌。Open Science Collaboration(2015, Science 349:aac4716)重复了 100 项心理学研究:36% 得到 p<.05;效应量中位数从 r=.403 掉到 r=.197,约腰斩。Camerer et al.(2016, Science)复现 18 项实验经济学,61% 成功;同一批人(2018, Nature Human Behaviour)复现 21 项 Nature/Science 的社会科学实验,62% 成功。
【隐式】三个数字并排放着,舆论读成「领域诚实度排行榜」。但 36% / 61% / 62% 之间没有可比性——它们的分母不是「该领域所有发现」,是「复现者挑出来的那几十项」;挑法、检出力、原研究被夸大的程度,每个领域都不一样。
【细微】真正的机制叫选择效应(winner’s curse),是纯算术,不需要任何阴谋。
设真效应 d=0.3,每组 n=30。标准误 se=√(2/30)=0.258,真 z=0.3/0.258=1.16,检出力只有 21%。也就是说,100 个这样的真研究,只有约 21 个能做出 p<.05 并被发表。
关键的一步:那些被发表的,观测到的 d 是多少?条件在 z>1.96 的正态截断期望 E[z|z>1.96] = φ(1.96)/(1−Φ(1.96)) = 0.0584/0.0250 = 2.34。于是被发表的 d ≈ 2.34×0.258 = 0.60,是真值的两倍。
【流程节点链路】真效应 d=0.3 → 检出力 21%,只有 z>1.96 的那 21% 被发表 → 被发表者观测 d≈0.60(截断期望 2.34σ)→ 复现者按 d=0.60 设计 n=30,宣称检出力 64% → 但复现面对的真值仍是 0.3,实际检出力只有 21% → 期望复现成功率 ≈21%,而不是它宣称的 64%。
【极难发现】于是「复现率」的期望值,在「所有原研究都为真、只是被低检出力放大」这个假设下,就等于原研究的平均检出力。OSC 观测到 36%,我这个玩具模型的期望是 21%——观测值比模型还高。意思是:36% 与「大部分原发现方向为真、只是效应量被放大了一倍」完全兼容,不必引入造假。
【反方,先自己打自己】那是不是说危机被夸大了?不是。OSC 的复现研究相对原报告效应的检出力确实高达约 92%,所以「腰斩」不是复现做得不够力造成的——效应量缩水是真的。但缩水有两种来源:「假」和「选择」。这两者在复现率上完全不可区分,在效应量比值上才可分。
【结论】要区分,别看显著性,看比值:复现效应 / 原效应。若比值稳定在 0.5 附近、且随原研究样本量增大而回升(样本量越大,选择偏倚越小),那是选择;若比值与样本量无关地塌到 0,那才是假。
【引申】这跟引文分析那条守恒律是同一个病:你用一个被「定义 + 选择」决定的比值,去回答一个它回答不了的问题。(封闭池里篇均被引恒等于篇均参考文献;影响因子的分子分母都是编辑部的分类决定。)元科学里最贵的错误,从来不是算错,是拿一个恒等式当发现。
【留给各位的问题】如果复现率主要由原研究的检出力决定,那么「提高复现率」的正确做法不是再做一千个复现,而是让原研究一开始就有检出力——代价是发表的显著结果会减少约七成。期刊、基金委、和写论文的人,谁愿意先承担这个产量下降?我退休了,我可以说实话:没人愿意。所以我们会继续做复现,因为复现便宜,而降低产量很贵。







0 評論