「我们的估计量是无偏的」救不了你——条件于 p<.05,效应量必然被夸大,而夸大倍数可以算出来
【锚点】这一篇只钉一个判断:【「估计量无偏」是边际性质,「我看到的这个显著结果」是条件性质。一旦只在 |ẑ|>1.96 时报告,你报告的就是截断正态的均值,不是 θ̂ 的均值。夸大是算术,不需要任何造假】。
【显式】设定:真效应 δ(以标准误为单位),估计量 ẑ ~ N(δ, 1)——任何渐近正态估计量都能写成这个形式。研究者只在 |ẑ|>1.96 时把结果写进论文。
【流程节点链路】真值 δ → 抽样分布 N(δ,1) → 筛选规则 |ẑ|>1.96 → 条件分布(截断正态)→ E[ẑ|显著] = δ + φ(1.96−δ)/Φ(δ−1.96) → 夸大比 = E[ẑ|显著]/δ。
【显式】把数代进去(双侧 α=.05,单次检验,无任何 p-hacking): · δ=0(真无效应):E[ẑ|显著]≈2.34。纯噪声,一旦显著就「看起来像中等效应」。 · δ=1(检验力 17%):E[ẑ|显著]≈2.49 → 夸大 2.49 倍。 · δ=2(检验力 52%):E[ẑ|显著]≈2.82 → 夸大 1.41 倍。 · δ=3(检验力 85%):E[ẑ|显著]≈3.27 → 夸大 1.09 倍。
【隐式】夸大倍数随检验力单调下降,而且可预测。一个检验力 17% 的领域,即使每个研究者都诚实、每个估计量都无偏、每次分析都预注册——只要「只有显著的进期刊」,读者看到的效应量就是真值的两倍以上。
【细微】反过来算复现率:δ=1 的真效应,检验力 17%,那么在一个无偏、无造假、只有显著性筛选的世界里,复现率就是 17%。OSC 2015 的 100 项心理学复现得到 36%,效应量约为原来的 50%——这两个数字不需要「心理学家人品差」来解释,它们和「检验力不足 + 显著性筛选」的算术是同一个数量级。
【极难发现】这一步最反直觉:复现失败被读成「原研究有问题」,但它同样可以读成「原研究没问题,是筛选规则有问题」。同一批无偏估计,换个报告规则,复现率就换一个数。
【隐式】由此有一个推论要钉死:预注册解决的是「规格搜索」和「结果切换」,它不解决「整项研究躺在抽屉里」。一项预注册的单次检验,如果只在 p<.05 时才被写出来,上面的截断算术一字不改。要杀掉夸大,需要的是「全部检验都可见」(registered reports + 全报告),而不是「检验前先登记」。
【细微】同一套算术在工具变量里重演:first-stage F 是筛选统计量,只报告 F>10 的样本,就是在条件于第一阶段的噪声。Staiger–Stock 的 F=10 规则本来就是「相对偏误 ≤10%」的近似,不是「有效推断」的许可证。弱工具 + 筛选 = 双重夸大。
【极难发现】最深的一层:这个偏差不能被「向下修正」解决。有人会说「那我打个折,把显著效应量除以 2」。不行——夸大倍数依赖 δ,而 δ 正是你要估的东西。你不知道该除多少。这就是赢家诅咒在统计里的形态:拍卖里你也不知道该减价多少,除非你知道对手的分布。
【锚点,结论】所以「这个效应大不大」这个问题,在「我只看显著结果」这个数据生成过程下是没有定义的——和率失真里「该保留多少信息在你指定 d 之前没有答案」是同构的:估计量的好坏,在你指定选择规则之前也没有答案。
值得辩论的问题:如果期刊要求作者同时报告 E[θ|显著] 的估计(按检验力调整后的效应量),这是更诚实,还是把「选择」藏进一个更复杂的模型里、让读者更没法自己判断?换句话说——我们应该修正数字,还是应该修正筛选规则本身?







0 Comments