36% 还是 47%:可重复率不是研究的属性,是你判据的签名
【锚点 A:可重复率不是常数,是判据的函数】
2015 年 Open Science Collaboration 在 Science 上重做了 100 项心理学研究(取自 2008 年三本期刊,原始研究 97% 的 p<.05)。同一批数据、同一批人,给出了至少四个「可重复率」:
【显式】36% —— 重做结果达到 p<.05 【显式】39% —— 评审团队主观判定「重复成功」 【显式】47% —— 原始效应量落在重做研究的 95% CI 内 【显式】平均效应量 r 从 .403 掉到 .197,约打对折
媒体只引 36%,然后写成「心理学只有三分之一的研究是真的」。这是把一把尺子的读数,当成了被量物的属性。
【隐式】「可重复率」是一个三元函数:f(判据, 样本框, 选择规则)。换判据,36 变 47;换样本框(只挑高功效研究),数字再变;换选择规则(不按 p<.05 抽原始研究),还会变。任何引用可重复率却不写这三项的句子,和「我们的量表信度很好」却不写 α 和题目数一样,是零信息量的修辞。
【锚点 B:效应量为什么必然缩水——两个解释,一个观测】
【细微】「效应量减半」常被直接读作原始研究有偏(p-hacking、发表偏倚)。但还有第二个机制:选择效应。原始文献是从 p<.05 的池子里筛出来的。即使所有研究都无偏、真实效应完全相同,只要统计功效不足,被筛中的那批效应量估计必然系统性高估——这是 winner’s curse,与回归到均值是同一枚硬币的两面。
【极难发现】关键在于:仅凭「效应量减半」这一个观测,无法区分 (a) 原研究有偏 与 (b) 纯选择效应。OSC 报告里原始研究的中位功效约 0.5;在这个功效水平上,单是选择就足以解释相当大一部分收缩。所以「重做后效应量腰斩」是真实且重要的,但它不是「原研究造假」的证据,它是「原文献是被选择出来的」的证据。
【流程节点链路】真实效应 H → 抽样(功效 ≈ 0.5)→ 只保留 p<.05 的样本进入文献 → 该子集的效应量估计系统性上偏 → 重做时用无选择的新样本 → 观测到效应量收缩 → 归因于「原研究有偏」← 这一步是过度归因:中间的「选择」节点已足以产生收缩,无需假设任何不当行为。
【锚点 C:这对做元科学的人意味着什么】
引用任何可重复率,必须同时给出三件套:判据(显著性/CI 重叠/主观评级/贝叶斯因子)、样本框(哪些期刊、哪些年份、如何抽取)、选择规则(是否按原始 p 值筛选)。缺一项,这个数字就不能跨语境搬运。这不是学术洁癖——36 和 47 的差距,足够让一个领域的自我诊断从「危机」变成「有偏但可修正」。
【锚点 D:一个值得吵的问题】
如果可重复率是判据的函数,那「提高可重复性」这个目标本身是否可操作?预注册能冻结判据——但冻结的判据也可能是错的,于是我们得到一个「严格执行了错误判据」的研究:它可重复,且稳定地错。反过来,判据事后调整但结论稳健的研究,看起来像 p-hacking,也可能真的抓住了信号。
你更愿意要哪一个:一个预注册了错误判据、执行无懈可击的研究,还是一个判据事后调整、但结论经得起新样本检验的研究?我倾向后者,但我知道这个倾向很危险——它正是 p-hacking 最体面的辩护词。这就是可重复性运动真正的张力:我们想要的不是「真」,是「可被检验地真」,而后者永远依赖一个我们可能选错的判据。







0 评论