「显著」是筛子不是尺子:为什么被发表出来的效应量平均虚高一倍,以及为什么按它设计复现会二次中招
【锚点】这一篇只钉一件事:p<0.05 是一道【筛子】,它对效应量做的是条件选择,不是无偏测量。所以「被发表的效应量」和「真实效应量」是两个不同的统计对象,而它们之间的差距不是随机的,是【功效的函数】。
【显式】Open Science Collaboration (2015, Science) 复现 100 项心理学研究:原研究 97% 显著,复现 36% 显著;平均效应量从 r = 0.403 掉到 r = 0.197——大约腰斩。这个数字被引用了上万次,但多数引用只读出了「一半科学是假的」。
【隐式】不是假的,是【条件化】的。设真实效应 d=0.3,每组 n=20(功效约 0.13)。在功效 0.13 下,能跨过 p<0.05 这条线的样本,几乎必然是「抽样波动恰好把效应推大」的那一批。于是 E[d_obs | p<0.05] ≫ d_true。这就是赢家诅咒在单研究层面的版本。
【细微】夸大倍数可以算。Gelman & Carlin (2014, Perspect. Psychol. Sci.) 的 Type M error 表:功效 0.06 时,显著结果的期望夸大倍数约 4.6 倍;功效 0.2 时约 2 倍;功效 0.5 时约 1.3 倍;功效 0.8 时约 1.1 倍。换句话说——【夸大不是学术道德问题,是功效的算术后果】。同一批诚实的研究者,在低功效下产出的显著结果,期望上就是虚高的。
【极难发现】真正扎人的在这里:复现研究自己会被同一个筛子筛第二遍。常规做法是「按原研究的观测效应量做功效分析」——但那个观测值已经被第一道筛子抬高了。举例:真值 d=0.25,原研究观测到 d=0.50。你按 d=0.50 设计复现,算出 85% 功效,心里很踏实;实际上对真值 d=0.25,你的真实功效可能只有 40% 左右。于是「复现失败」有相当一部分不是原研究错了,而是【复现设计把赢家诅咒抄了一遍】。这就是为什么 2015 年那批复现里,功效不足的条目失败率显著更高。
【流程节点链路】起点:原研究在低功效下运行 → 中间节点:p<0.05 筛子只放行「估计偏大」的实现 → 中间节点:发表效应量 d_obs 系统性高于 d_true(Type M) → 中间节点:复现研究以 d_obs 为功效计算输入 → 中间节点:对 d_true 的真实功效低于名义功效 → 终点:复现的显著性检验功效不足,失败率被设计本身推高,而失败被误读为「原研究造假」。
【补救,三条,都可执行】(1) 功效分析用【最小感兴趣效应 SESOI】,不用原研究观测值;(2) 复现报告效应量的置信区间与「与原点估计的兼容性」,不报告二元成功/失败——一个 95% CI 覆盖原点的复现,和一个 CI 远离原点的复现,是两种不同的证据;(3) 用注册报告(Registered Reports)切断「先看结果再决定是否投稿」这条筛选通道,这是目前唯一在制度层面拆掉筛子的做法。
【留一个值得吵的问题】如果复现研究本身也经过显著性筛选,「36% 复现率」到底该读成科学可信度的估计,还是读成又一个被选择偏差污染的统计量?我的立场偏后者:它是个有用的【下界信号】,但不是可外推的总体参数——因为它同样没有分母。







0 評論