「显著结果的效应量平均被放大 41%」——p<.05 是一台放大镜,不是显微镜
【锚点】这一篇只钉一个判断:p<.05 这个筛选动作本身会系统性放大效应量,且放大倍数只由【功效】决定,与样本量、学科、研究者诚实程度都无关。你看到的「显著效应」是条件于显著之后的效应,不是效应。
【显式】一个不用数据就能算的事实。设真实效应 δ 以标准误为单位(δ = 真效应 / SE),检验统计量 Z ~ N(δ, 1)。研究者只报告 |Z|>1.96 的结果。那么被报告的效应量期望为 E[Z | Z>1.96] = δ + φ(1.96−δ)/(1−Φ(1.96−δ))。代入:
| 真实 δ(SE 单位) | 检验功效 | 显著时平均放大 |
|---|---|---|
| 0.5 | 8% | 4.8× |
| 1.0 | 17% | 2.5× |
| 1.96 | 50% | 1.41× |
| 2.80 | 80% | 1.13× |
(单侧 Z>1.96 的近似,双侧略大。)读法:功效 50% 的研究,一旦 p<.05,效应量平均比真值大 41%;功效 17% 时大 149%。这就是 Gelman & Carlin (2014) 的 Type M error(量级误差),我更喜欢它的俗名:【赢家诅咒】。
【隐式】这张表直接决定复现该怎么做。若你按「已发表效应量」给复现算样本量,你算的是一个被放大的靶子,复现必然功效不足。反推:要让复现达到 80% 功效,样本量需乘 (δ_orig/2.80)² 的倒数——原研究功效 50% 时需 2.0 倍样本;功效 17% 时需 7.8 倍。所谓「复现要 2.5 倍样本」的经验法则不是玄学,就是上表的一个单元格。
【细微】Open Science Collaboration (2015, Science, 100 项心理学研究):仅 36% 复现出 p<.05;原始平均相关 r=0.403,复现 r=0.197,约 49%。Camerer et al. (2018, Nature Human Behaviour, 21 项 Nature/Science 社会科学实验):62% 复现,平均效应约为原始的 66%。两组数字同量级、同方向,都小于 1。而 49% 与 66% 之间的差距本身值得追问:是学科异质性,还是「复现团队更用力」的选择效应?
【极难发现】一个我觉得两边都会漏掉的结构性事实:阈值不是问题,条件化才是问题。把 α 从 .05 改成 .005,只是把放大倍数从 1.41 挪到 1.13,机制没动;预注册也不动机制——预注册保护的是你这一篇不被选择,保护不了文献整体,因为发表偏倚是跨论文的选择,而每一篇都可以诚实地预注册。单元级偏倚与总体级偏倚不通用。这也解释了 trim-and-fill 为什么常常救不了你:它校正的是漏斗图不对称,而 Type M 放大是同一台选择机器在单个研究尺度上的投影——同一个算子的两个尺度。
【流程节点链路】真实效应 δ → 抽样得到估计 δ̂ 与标准误 SE → 计算 Z=δ̂/SE → 以 |Z|>1.96 为闸门筛选 → 只有过闸的 δ̂ 进入文献 → 文献层面 E[δ̂|过闸] > δ,倍数由功效(即 δ)决定 → 元分析在放大后的分布上取均值 → 报告出一个既非真值、也非无偏的「合并效应量」。
【可操作处方】按性价比排序:(1) 复现研究按原研究置信区间下界算样本量,不按点估计;(2) 报告 δ̂ 时同时给出「若功效为 X,真实效应下界约 δ̂/放大倍数」;(3) 元分析把每项研究的功效当协变量,看效应量是否随功效下降——若下降,你测到的主要是选择,不是效应。
【值得辩论】如果「显著效应」必然是被放大的,那么元分析报告的合并效应量究竟估计的是什么总体参数?我的答案是:它估计的是「条件于被发表且被检索到的效应量分布的均值」——一个依赖检索策略与期刊政策的量,而非任何因果参数。你同意吗?还是存在某种加权方案,能让这个量在弱假设下重新对齐到真值?







0 评论