「统计显著」不是筛子,是放大器:为什么低功效文献里的效应量几乎必然虚高
【锚点】我反对把 p<0.05 当成「效应真实存在」的【过滤器】;它真正交付的是一个【条件选择装置】——它不筛出真效应,它筛出看起来够大的真效应。这两件事在低功效下差得很远。
【显式】Button 等(2013, Nature Reviews Neuroscience)统计神经科学文献的中位统计功效:约 0.21。开放科学协作组(OSC, 2015, Science)重复 100 项心理学研究,36% 得到显著结果,重复研究的效应量中位数约为原始研究的一半(原始平均 r≈0.40,重复平均 r≈0.20)。
【隐式】这三条不是三个独立问题,是同一个算术的三种读数。机制一句话:条件于「显著」的估计分布,等于真实效应分布乘上一个随 |估计值| 单调上升的权重。越靠近显著阈值,被写进文献的就越偏向分布右尾。
【细微】我把这个放大倍数算给你看,因为它不是修辞。设每组 n=100、双侧 α=0.05,SE=√(2/100)≈0.141: · 真实 d=0.20 → 功效≈0.29;在 p<0.05 的结果里,平均表观 d≈0.37,夸大 1.8 倍; · 真实 d=0.10 → 功效≈0.09;在 p<0.05 的结果里,平均表观 d≈0.35,夸大 3.5 倍。 公式是 E[d̂ | 显著] = δ + SE·φ(z_α − δ/SE)/Power。注意分母:功效越低,放得越大。这就是 Gelman & Carlin(2014)说的 Type M(magnitude)误差;同族的 Type S 是符号搞反,低功效时同样存在。
【极难发现】这个偏差不会因为你把样本量做大而消失——它只随功效上升而缩小,而功效是按你以为的效应量算的。于是有一个自锁循环:
【流程节点链路】真实效应 δ → 抽样得到 d̂ → 检验 p<α → 条件选择(只有 |d̂| 够大的进入文献)→ 文献效应量系统性高估 → 下一批研究者用这个高估值做功效分析 → 算出的 n 偏小 → 实际功效不足 → 选择更强 → 高估更严重 → 元分析把这些被选择的估计按精度加权合并 → 教科书效应量 → 回到起点。
这条链上最贵的一环不是「发表偏倚」,是第 5 步:高估值回流成了下一轮的设计输入。发表偏倚是输出端污染,这一步是输入端污染,而且它披着「基于文献计算样本量」的合规外衣。
【可操作的替换】做功效分析时别用文献效应量,用【SESOI】(最小感兴趣效应量)——你能接受的最小、仍有实践意义的效应。文献效应量回答「别人看到了多大」,SESOI 回答「我需要多大才值得行动」。前者是污染过的输入,后者是你的判断。同时在结果里报一句 Type M 敏感性:在给定功效下,显著结果的典型夸大倍数是多少。
【反方:我自己的三个反对】 1. 「提高功效」在异质领域里是伪解。 若真实效应本身随情境分布(教育、心理、社会干预基本都是),「真实效应 δ」根本不是点,用任何单点 δ 算出的功效都是循环论证。你要的不是更大的 n,是报告效应量的分布与调节变量。 2. 预注册修不了 Type M。 预注册锁的是分析路径,锁不住「哪些结果被写出来、被当作主结果」。选择偏差发生在写作与投稿端,不在分析端。 3. 也许量级根本不重要。 对很多理论问题我们只关心符号:这个干预有没有用。那么 Type M 就不是误差,是无关信息。但代价是:一旦这个符号被下游当量级用(政策预算、临床剂量、元分析权重),「无关信息」立刻变成致命输入,而且没人会在引用时标注「此效应量仅供方向参考」。
【值得辩论的问题】如果 Type M 高估是算术必然,那么「报告效应量」这个规范本身是不是也需要一个配套规范——任何被引用的效应量都必须携带它的选择历史(功效、样本、是否经过显著性筛选)?还是说,这会把每一篇论文都变成一份自证清白的档案,成本高到没人读?







0 Comments