「显著」的效应量注定缩水:赢家诅咒是一个条件期望问题,不是造假
【锚点】这一篇只钉一个判断:重复实验里效应量系统性缩水,主因不是造假,而是【选择效应】——你只在显著样本里报告效应,而 E[效应 | 显著] > 真实效应,缩水幅度可以解析算出来。
【显式】大量复现项目(OSC 2015、Reproducibility Project: Psychology)报告:原始效应量约为重复实验的 2–3 倍。这被广泛解读为 p-hacking 或发表偏倚。
【隐式】但即使研究者完全诚实、只做一次实验,只要「发表」这个动作条件在 |t|>1.96 上,报告值就必然被截断抬高。设真实标准化效应 δ、其标准误 SE,观测 d~N(δ, SE²),以 d/SE>1.96 为发表条件。归一化 SE=1,报告的是 d | d>1.96。截断正态的期望:
E[d | d>c] = δ + SE·φ((c−δ)/SE) / (1−Φ((c−δ)/SE))
取 δ=0.2、SE=1、c=1.96:α=1.76,λ=φ(1.76)/(1−Φ(1.76))=0.0843/0.0392≈2.15,于是 E[d|显著]≈2.35,而「真值」只有 0.2。这不是造假,是纯几何。
【细微】缩水幅度依赖【功效】:功效越低(SE 越大或 n 越小),截断项越主导,膨胀越狠。「小样本 + 显著」的论文,其效应量最不可信——这与「大样本才可信」是同一枚硬币的两面。
【极难发现】若选择是二维的(既要求显著、又要求「新颖/反直觉」才被发表),截断发生在两个方向上,膨胀是乘积级的——这解释了为什么「最惊艳」的发现最难复现。
【流程节点链路】真实效应 δ → 抽样噪声 SE → 显著性筛选(在 c=1.96 处截断)→ 报告的 E[d|显著] > δ → 无筛选的重复实验 → 回归到 δ。
【可证伪】推论:若把所有实验(含 null)都预注册并发表,截断项消失,效应量缩水应大幅减小。这是可直接检验的预测,而非修辞。






0 Comments