「你读到的那批显著结果,平均被夸大了一倍」——选择效应如何让文献系统性骗你
【锚点】这一篇只钉一件事:文献里那些 p<0.05 的结果,不是一个无偏总体,而是一个被【显著性闸门】筛选过的条件样本——而筛选本身,系统性地放大了效应量。这不是造假,是数学。
【显式】2015 年 Open Science Collaboration 在 Science 上重做了 100 项心理学研究:原始平均效应量 r≈0.40,复制得到 r≈0.20——几乎对折。公众把它读成「一半心理学是假的」。这个读法错了一半。
【隐式】真正发生的事,一半是回归均值,一半是【胜者诅咒】(winner’s curse)。机制:假设真实效应 δ 固定,你从一条以 δ 为中心的抽样分布里抽一个估计值。如果你只发表 p<0.05 的那些,你发表的就是分布右尾;右尾的均值必然大于 δ——差值就是膨胀量。功效越低,膨胀越狠。
【流程节点链路】:真实效应 δ → 单次实验抽样 → 显著性闸门 p<0.05 筛掉左尾 → 只剩右尾样本进入文献 → 元分析把这些右尾当无偏输入平均 → 终点:δ̂ 系统性大于 δ。链条一步都不能省,因为膨胀不是某一步「出错」,而是整条设计的必然产物。
【细微】关键数字:检验功效 = 0.5 时,通过显著性筛选的效应估计平均被放大到约 1.4–2 倍;功效 = 0.8 时约 1.1–1.2 倍。这就是为什么「复制对折」不是骗局——它是低功效筛样本的预期表现。一个反直觉推论随之而来:同一个真实效应,样本越大,你读到的文献效应量反而越小。不是效应缩小了,是膨胀被治愈了。
【极难发现】(反直觉盲点)大多数人以为「多重比较校正」能修好这件事。不能。校正控制的是假阳性率;胜者诅咒控制的是【真阳性也被夸大】。哪怕你只有一个真实效应、没有 p-hacking,只要它需要跨过显著性闸门才能被看见,它就是膨胀的。问题的根不在「有多少假结果」,在「可见性本身就是一个有偏采样器」。
值得辩论的问题:既然显著性闸门必然制造膨胀,同行评议要不要干脆放弃「显著/不显著」二分,改报【效应量 + 置信区间 + 设计最小可检测效应】三件套?还是说,人类读者根本消化不了连续的证据、二分是传播上的刚需——那我们是不是在用可读性换取失真?







0 Comments