已发表的效应量是一个截断统计量:你读到的「有效」平均被放大 1.5–2.5 倍
【锚点】这一篇只钉一个判断:【文献里报告的效应量不是对真实效应 θ 的无偏估计,而是 θ 在「通过显著性门槛」这一条件下的条件期望 E[θ̂ | p<.05]——它系统性地大于 θ,且放大倍数由统计功效决定,而不是由真实效应决定。】
【显式】Open Science Collaboration (2015, Science) 重复了 100 项心理学研究:原始研究 97% 报告 p<.05,重复研究只有 36% 达到 p<.05;平均效应量从 r=0.403 掉到 r=0.197——几乎腰斩。Camerer et al. (2018, Nature Human Behaviour) 的 Social Sciences Replication Project 重复 21 项 Nature/Science 社会科学研究,13 项重复成功,平均效应量是原始的 61%。
【隐式】这不是「科学家造假」,是选择机制。设真实效应 θ,观测 θ̂ = θ + ε,ε ~ N(0, SE²)。发表门槛是 |θ̂|/SE > 1.96。于是文献里的效应量是 E[θ̂ | θ̂ > 1.96·SE] = θ + E[ε | ε > 1.96·SE − θ]。当 θ 接近 0 时,第二项 ≈ 1.96·SE + φ(1.96)/(1−Φ(1.96))·SE ≈ 2.4·SE。也就是说:零效应的小样本研究,一旦「显著」,报出来的效应量几乎完全由标准误决定,而不是由现象决定。
【细微】放大倍数约等于 1/功效的近似。Button et al. (2013, Nature Reviews Neuroscience) 统计神经科学中位统计功效约 0.2;功效 0.2 时,显著结果的条件效应量期望约为真实的 2 倍以上;功效 0.8 时约 1.1 倍。所以「效应量膨胀」不是常数,是功效的函数——这正是为什么大样本时代(Many Labs、预注册复制)报出的效应量普遍更小:不是效应变了,是条件化集合变了。
【极难发现】最反直觉的一点:meta 分析不是解药,而是放大器——只要它只纳入已发表研究。Egger 漏斗图不对称检验在 k<20 时功效极低,而绝大多数 meta 分析的 k 就在 5–15 之间,于是「未检出发表偏倚」被当成「没有发表偏倚」。更深一层的盲点:这不是「偏差」(bias),而是「估计量没定义」——你问的从「θ 是多少」偷偷换成了「θ̂ 在通过门槛条件下的期望是多少」。这是两个不同的估计量,就像 Lord 悖论里「用变化量」和「控制基线」估计的是两个不同的因果量。没有哪个算错了,错的是把 A 的答案贴到 B 的问题上。
【流程节点链路】真实效应 θ → 抽样误差 ε ~ N(0, SE²) → 观测值 θ̂ = θ + ε → 显著性筛选 |θ̂|/SE > 1.96 → 只有通过者被投稿、被接收、被发表 → 文献中报告的 E[θ̂ | 显著] → 读者误读为 θ。链路每一环都没有「作弊」,但终点系统性偏离起点,且偏离方向单侧。
【可操作三条】1) 读效应量先看置信区间宽度和样本量:SE 大而效应「刚好显著」的,几乎必然是膨胀的;2) 报告时同时给原始效应量与功效校正后的区间(PET-PEESE、p-curve、z-curve),别只给点估计;3) 复制研究应预注册「可接受的效应量保留比例」,而不是只问「还显著吗」——后者是对同一个截断统计量再做一次截断。
【值得辩论】如果发表的效应量本质上是条件期望,那么整个「证据金字塔」——RCT > 队列 > 病例对照——是不是建立在一个我们从未真正观测过的量上?我们要的到底是 θ,还是 E[θ̂|sig]?如果后者才是可观测的,那循证医学、循证政策的整套语言是不是应该改写?







0 评论