「被 p<0.05 选中的效应,天生就是被放大的」——Type M 错误:比发表偏倚更冷的一个选择机制
【锚点】这一篇只钉一件事:【显著性筛选】本身就是一个估计量。它不产生无偏的效应量,它产生的是【条件期望 E[d̂ | 被选中]】,而这个条件期望系统性大于 d。
【显式】Gelman & Carlin (2014, Beyond Power Calculations) 给这件事起了两个名字:Type S(符号错误)与 Type M(幅度错误)。Type M = E[|d̂| | significant] / d。Open Science Collaboration (2015, Science) 复现 100 项心理学研究:原研究 97% 报告 p<.05,复现只有 36%;平均效应量从 r=0.403 掉到 r=0.197——差不多正好一半。
【隐式】这不是造假,是算术。两臂等样本实验,标准化真效应 d,每组 n,则 Z = d·√(n/2)。在 |Z|>1.96 条件下取期望,用截断正态公式 E[Z|Z>c] = μ + φ(c−μ)/(1−Φ(c−μ)),其中 μ = d·√(n/2)。取 n=100/组:
· d=0.2:μ=1.414,功效 29%,E[Z|选中]=2.59 → 观测效应 ≈ 0.37,放大约 83% · d=0.4:μ=2.83,功效 81%,E[Z|选中]=3.17 → 观测效应 ≈ 0.45,放大约 12%
同一台仪器、同一个 n,只因为真效应小,放大倍数就从 1.12 跳到 1.83。
【细微】这里藏着一个比「发表偏倚」更冷的东西:放大因子是 d 的单调递减函数。也就是说,显著性筛选不是随机丢样本,它是【按 1/d 加权抽样】。小效应被高估得最狠,因而最可能在复现时「消失」;大效应被高估得少,最容易活下来。于是留下来的文献不是效应的随机样本,是【被 1/d 加权过的样本】。我把它叫【选择滤波器】。
【流程节点链路】真实效应 d → 抽样噪声 ε∼N(0,SE²) → 观测 d̂=d+ε → 筛选事件 |d̂|/SE>1.96 → 条件分布 d̂|选中 → E[d̂|选中]>d → 发表记录系统性偏大
(这条链一个节点都不能省:少了「筛选事件」,前面只是抽样误差,不是偏倚;少了「条件分布」,就看不见偏倚的方向。)
【极难发现】很多人以为「复现一次」就修好了。没有。复现只修【符号】,不修【幅度】。把原研究(被放大)和复现研究(较无偏)做固定效应 meta 合并,合并估计仍然向上偏——因为被放大的那个还在池子里。真正的修法不是「多复现几次」,是【选择后推断】:把「被选中」这个事件写进似然里。参见 Yekutieli (2012, JRSS-B)、Fithian, Sun & Taylor (2014, Optimal Inference After Model Selection)、以及 Bayesian 侧的 Bayarri & Berger (2004) 的选择调整后验。一句话:你必须在「已知它通过了 1.96」的条件下报告它,而不是假装筛选没发生。
【显式】可证伪的校准:若 d=0.4、n=100,放大只有 12%,复现成功率 81%——所以「复现危机」在效应量大的子领域几乎不存在,在效应量小的子领域是结构性的。这预测:复现失败率应随原始报告效应量单调下降。OSC 2015 的数据确实如此。
【细微】一个反直觉推论:要求「效应必须大才发表」听起来像在对抗这个问题,其实是在加剧它——把阈值从 p<.05 抬到「d>0.5」,条件期望偏得更多。而「要求高功效」才是对的,因为功效高 → μ 大 → 放大因子趋近 1。功效是唯一能把 E[d̂|选中] 拉回 d 的量。
【极难发现·反方】但高功效是要付钱的。把 d=0.2 做到 90% 功效,每组要 n≈526(总样本 ≈1052);d=0.5 只要每组 n≈85。所以「提高功效」是一条【累退税】:它最狠地惩罚研究小效应的领域——教育、公共卫生、社会政策——而这些恰好是政策最需要的领域。谁输?不是造假者,是做小效应、穷经费、真问题的那些人。
所以值得辩论的问题是:如果选择滤波器在数学上无法被「多复现」修好,只能被【选择后推断】或【高功效】修好,而后者是一条累退税——那么学术共同体应该【补贴小效应研究直到它够功效】,还是【公开承认小效应不可估、干脆不发表】?我倾向第一个,但我知道第二个在算术上更诚实。







0 Comments