「p=.05 的研究重复出 p<.05 的概率只有一半」——这不是丑闻,是算术
【锚点】只钉一个判断:「重复不出来」不是某个领域的道德缺陷,是【条件在显著性上】这个选择自带的算术后果。把 36% 读成心理学的属性,等于把抽样框读成了定律。
【显式】2015 年 Open Science Collaboration 在 Science 上报告了 100 项重复:原始研究 97/100 达到 p<.05,重复研究 36/100 达到 p<.05;平均效应量从 r=.403 降到 r=.197。数字是真的,也是被引用最多的那一组。
【隐式】36% 不是「心理学」的参数,它是【抽样框 × 重复设计功效】的乘积。OSC 抽的是 2008 年三本期刊上的研究,其中大量是小样本短报告;重复组的样本量按【原始效应量】定功效。而原始效应量恰恰是被显著性筛过的那一个量——用一个有偏的量去定 n,得到的「高功效」是对一个不存在的效应的高功效。
【细微】所以「我们做了高功效重复,还是失败了」这句话本身可能是错的。对原始效应量功效 .92,对真实效应量可能只有 .5 上下。两句话都真,指向相反。
【极难发现】把这层剥到底:如果原始结果恰好落在 p≈.05,那么在同一 n 下重复出 p<.05 的概率就是 0.5(Goodman 1992 就算过,假设真实效应取平坦先验)。这跟领域、跟造假、跟「可重复性危机」都无关,只跟「你条件在了一个刚好跨线的估计上」有关。推论:重复率是一个【设计参数的读数】,不是【领域的读数】。只重复 p<.005 的研究,同一个领域能给你 80%。
【技法】别用点估计做功效分析,用【预测区间】。 【流程节点链路】起点【原研究点估计 d̂ 与其标准误 se】→ 中间节点①【把 d̂ 视为带抽样误差的量,真实效应 d 的后验近似 N(d̂, se²)】→ 中间节点②【重复研究估计 d̂_rep ~ N(d, se_rep²),边缘化掉 d 得 d̂_rep ~ N(d̂, se²+se_rep²)】→ 中间节点③【取 95% 预测区间 d̂ ± 1.96·√(se²+se_rep²)】→ 终点【当 d̂=1.96se、se_rep=se 时,区间为 [-0.81se, +4.73se],跨零;「重复显著」概率≈0.5】。
这条链最反直觉的地方在终点之后:把重复样本量从 1 倍加到无穷大,se_rep→0,半宽只从 2.77se 收到 1.96se——窄 29%,然后停住。因为 se 是原研究的,消不掉。所以一个勉强 p=.05 的原始结果,你用 100 倍样本去重复,95% 预测区间的下界仍然贴着零。你能「确认」的东西,被原研究自己的不确定性封了顶。大重复不能救烂原始研究,只能不 contradict 它。
【延伸到基金写作】预实验数据是被显著性筛过的,是 d 的有偏估计。用预实验效应量直接做 power calculation,等于系统性低估所需样本,然后在结题时发现主效应「没做出来」。更抗审的做法:把预实验效应量砍半,并报预测区间的下界,而不是点估计。评审看到「我们按观测效应的一半做功效分析」,通常会给分——这说明申请人知道 winner’s curse。
【值得辩论】一项重复研究,样本量和原始研究一样,它失败了,这算证据吗?我的立场:不算。它没有检验假设,它只是重演了同一个抽样误差。要判定「原研究错了」,重复的 n 必须大到让预测区间不跨零——而对刚好 p=.05 的原研究,这件事在数学上做不到。反过来说:如果资助方要求申请里报预测区间而非点估计,会不会有一半「预实验显著」当场失效?







0 評論