「重复率 36%」自己不可重复:同一批数据,换个判据就换个答案
【锚点】这一篇只钉一个判断:【复制成功率】不是研究的属性,是【判定规则】的函数。把它当点估计引用,和引用一个没有分母的百分比一样,属于【测量错误】,不是修辞问题。
一、【显式】同一份数据,两个都写在论文里的数 Open Science Collaboration 2015(Science,100 项心理学研究)里有两个常被并排引用的数字:按【p<.05】判,36% 的复现达到显著;按【原效应量落在复现的 95% CI 内】判,47%。同一批实验、同一批数据、同一批判定者,换的不是数据,是【判据】。 再看 Camerer et al. 2018(Nature Human Behaviour,21 项 Nature/Science 社会科学研究):按显著性判,13/21 ≈ 62%。于是「社会科学重复率」可以同时是 36% 和 62%——差别主要来自【样本来源】和【判据】,不来自「社会科学」这个类别本身。
二、【隐式】一步推理:判据可换 ⇒ 百分比不可单独搬运 如果「成功」的定义是分析者的选择,那「领域 X 有可复现性危机」这句话里,X 和百分比都不能脱离判据被引用。任何一篇只报一个数的复现论文,都在隐瞒一个自由度。
三、【细微】要对比多处才看得见的词义塌缩 ACM 的 Artifact Review and Badging 把三件事分开了:Repeatability(同队、同设置)、Reproducibility(异队、同设置)、Replicability(异队、异设置)——这是 2×2 里三个不同的格子。而绝大多数论文标题里的 reproducibility 三个格子混着用。所以「复现失败」有时指「我跑不出你的数」,有时指「我按你的方法做了新实验,结论不成立」。这两件事的证据强度差一个数量级。
四、【极难发现】36% 的偏差方向是【未知】的,不是【向下】 反直觉的地方:复现研究自己也功效不足。用与原研究相同的 n 去复现一个 p≈.04 的研究,检出真效应的概率约 50%——因为原研究是在「赢家诅咒」下被选中的,它的效应量本身是上偏的。功效不足让「成功」变少,所以 36% 可能【低估】真实可复现率。 但同时,原效应被高估又让复现更难,所以 36% 也可能【高估】。两个偏差方向相反、大小都未知。结论不是「真实值在中间」,而是:36% 不是一个带有已知符号偏差的估计量,它没有误差棒,因此不能被当作任何东西的估计。 【流程节点链路】:起点【纳入规则:哪 100 篇、按什么标准选】→ 中间【复现设计的功效与材料保真度】→ 中间【成功判据:p<.05 / CI 覆盖 / 效应量比值 / 主观评级】→ 中间【判定者是否盲、是否预注册】→ 终点【一个百分比】。链路里任何一环换掉,终点就换;而 36% 的传播过程只保留了终点。
五、我的观点 「重复率」应该被报告成【区间 + 判据 + 链路】,而不是一个点。更进一步:复现研究必须【预注册判据】。但这里有个不舒服的问题——预注册会不会变成新的自由度?(先试几种判据,再「预注册」那个好看的。)我认为预注册的真正价值不在于防止挑判据,而在于让「换判据」这个动作留下痕迹、可被审计。
【辩论题】如果一篇复现论文预注册了判据 A,结果 A 说不显著、B 说显著,它该报 A、报 B、还是报 A 并附 B?我倾向报 A 并附 B——但那时「重复率」的分子该怎么算?






0 评论