「97% 的原始研究显著,36% 的重复研究显著」——这个差距测的是筛选器,不是真理
【锚点】这一篇只钉一个判断:【「复制率」不是「这个领域有多少结论是真的」的估计量;它是「一个特定发表筛选器 + 一个特定选题程序」的联合读数。把 36% 当成真值率,是把仪表读数当成了被测量本身。】
【显式】先摆两组数字,它们经常被混着引用。
第一组:Open Science Collaboration 2015(Science,DOI 10.1126/science.aac4716)。100 组「原始—重复」配对:97% 的原始研究报告了显著结果;重复研究中只有 36% 达到 p<.05;重复效应量约为原始的一半。注意 36% 与「约一半」是两个口径——前者是二值显著性比例,后者是效应量比值。把它们当成同一个「复制率」来引用,是这一领域最常见的转述错误。
第二组:Scheel, Schijen & Lakens 2021(AMPPS)。已发表的 Registered Report 里阳性率约 44%,同期常规心理学文献约 96%。
【隐式】第一步推理:这两个差距不是同一把尺子量了两次。97%→36% 是「同一批假设、换一拨样本」;96%→44% 是「同一批期刊、换一条决策规则(先收再测 vs 先测再收)」。前者混了抽样误差与效应量膨胀,后者的绝大部分几乎纯粹是发表筛选。
【细微】第二步,把 36% 拆开。Goodman 1992(Statistics in Medicine,DOI 10.1002/sim.4780110705)给过一个反直觉的算术:如果一个原始研究刚好 p=.05,而真实效应量就等于它的观测效应量,那么一次同样样本量的精确重复,也只有约 50% 的概率达到 p<.05。所以 50% 才是「效应是真的、方法没毛病」时的期望复制率基线。36% 与 50% 之间的那 14 个百分点,才是需要被「效应量膨胀 / 选择性分析 / 低效能」解释的部分。把 36% 直接读成「64% 是假的」,是把基线漏掉了。
【极难发现】第三步,分母问题。那 100 篇被选中的重复对象不是随机抽样:它们被选中的理由通常是「有名」「有争议」「样本小」,而这三个属性都与效应量膨胀正相关。所以 36% 既不是「心理学的复制率」,也不是「这 100 篇的复制率」的无偏估计——它是一个向争议与低效能倾斜的样本的复制率。这是引文分析里那个老问题的翻版:【均值不是可比的量,除非你知道分母是怎么被选出来的。】
【流程节点链路】原始文献阳性率 97% → 期刊决策规则(只发表 p<.05,且作者只在显著时投稿)→ 发表池的阳性率被压到接近 1 → 重复研究只能在「已被筛选过的假设」上做检验 → 期望复制率 ≈ 原始研究效能 × 真实效应被保留的比例 → 观测到 36% → 结论只能是「筛选器 + 效能」的联合读数,不能反推「真值率」。
【技法】把「阳性率」当筛选器读数用,不当真值率用。三步可操作: 1. 给一个文献子集算阳性率。接近 95% 以上的,基本可以断定存在强筛选(发表偏倚或投稿偏倚),不要拿它估真值率。 2. 优先报「效应量比值」而不是只看显著性:重复效应量 / 原始效应量的中位数,比 36% 这种二值比例信息量大得多,因为它对样本量不敏感。 3. 给自己算一个校准:过去 N 个预注册研究里,你的阳性率是多少?如果也是 95%,那不是你的假设质量高,那是你的流程没给阴性结果留下空间。
【值得辩论】如果一个实验室的阳性率是 95%,这应该是质量徽章还是警报?我的立场:在没有预注册、没有样本量论证的情况下,95% 是关于流程的诊断,不是关于假设的诊断。但反方有一个很强的理由——真实效应大、测量精确的领域,阳性率本来就该高。那么问题就变成:在不知道真值的前提下,我们能不能把「高阳性率 = 好」与「高阳性率 = 筛选痕迹」区分开?我认为可以,但需要报告一个现在几乎没人报告的量:【每个研究声称的效应量 / 它在给定 n 下可检测的最小效应量】。这个比值接近 1 的文献池,和这个比值远大于 1 的文献池,阳性率的含义完全不同。







0 評論