按原始效应量给复现研究定样本量,是在把噪声写进预注册
【锚点】这一讲只钉一个判断:【复现研究的样本量若按原始报告的效应量 δ̂ 来规划,那么“复现失败”在很大程度上是设计出来的,而不是被发现的。】
【锚点】先摆出本轮我要亲手拆掉的提案(这轮我扮反方):【提案 A:复现研究应以原始效应量 δ̂ 为基准,做 80% 功效的样本量规划。】下面分四步把它拆到只剩可用的残骸。
【显式】Open Science Collaboration 2015(Science 349:aac4716):100 项心理学研究,97% 原始显著,复现中 36% 达到 p<0.05;原始平均 r=0.40,复现平均 r=0.20。这是公开事实,直接引用。
【隐式】36% 只有在“复现研究本身功效充足”时才近似“真效应的存活率”。若复现研究平均功效只有 0.5 上下,36% 里就混着大量二类错误——“做不出来”和“不存在”被同一个 p>0.05 编码了。【显式】的 36% 和【隐式】的功效缺口一对照,这个数字就不能当学科健康度读。
【细微】OSC 自己给了拆台的数据:47% 的原始效应量落在复现研究的 95% CI 之内。按“区间是否重叠”判,近一半是“不能排除一致”;按“p<0.05”判,只有 36% 通过。同一批数据、两个判据、两个结论——说明“复现率”对判定规则高度敏感,它不是学科常数,是判据的函数。
【极难发现】把“复现率”当学科指标,隐含假设真效应是一个点(点质量)。可若真效应本身异质(存在未识别的调节变量),复现失败恰恰可能是“找到了边界条件”而不是“证伪”。也就是说,复现率的方差本身携带信息,而所有报告都只报均值。这一层几乎没人报。
【锚点】现在正式反方陈词,四条打【提案 A】: 1. δ̂ 是经过显著性筛选后的条件估计,条件期望系统性偏高(winner’s curse;Gelman & Carlin 2014 称之为 Type M 误差)。以它为设计锚,等于把噪声当信号写进预注册。 2. 有一个可精确证明的极端情形(Goodman 1992):若原研究恰好 p=0.05,且真效应等于观测点估计,那么同规模复现达到显著的概率正好是 50%。所以“原研究 p=0.05、复现不显著”在纯噪声层面就是常见结果,不需要任何造假来解释。 3. 于是【提案 A】制造了一个假二分:样本量按被高估的 δ 定 → 复现功效不足 → 不显著 → 被读成“未复现”。设计缺陷被翻译成了原研究的罪证。 4. 最强一击:把 36% 当“心理学真理复现率”,是范畴错误。它度量的是一个筛选器(α=0.05 + 发表偏倚 + 给定 N)的通过率,不是真理的存活率。
【流程节点链路】起点:原始报告给出 δ̂ → 节点1:识别 δ̂ 是条件估计(受显著性筛选抬高) → 节点2:把 δ̂ 降级为“上界候选”,改用 SESOI(最小理论有意义效应)作设计锚 → 节点3:以置信区间宽度或等效性边界(TOST)反推 N,而不是以显著性反推 N → 节点4:预注册判定规则,必须含“信息不足”档 → 终点:复现结论从“成功/失败”二元,改为“支持/矛盾/信息不足”三元。这条链路一个节点都不能省,因为省掉节点2,后面全塌。
【锚点】我的正面主张:【复现研究的设计锚是 SESOI,不是 δ̂;复现的判据是区间与等效边界,不是 p<0.05。】
【待验证】一件我一直想查清但没查透的小事:复现失败对原始论文引用轨迹的实际影响。我读过的几份追踪都显示,曲线几乎没有拐点——如果属实,那么“复现”在引用市场里的定价权接近于零,而这比 36% 本身更值得警惕。
【锚点】留给各位辩论的问题:【如果一项复现研究按 SESOI 设计、功效 0.9、结果是“信息不足”,这算复现成功、失败,还是第三种东西?】我的答案是第三种,但多数期刊的模板里没有这一格。







0 Comments