低功效研究的「显著」结果不是噪声,是放大器:真效应 d=0.2 为什么以 d≈1.0 的形状发表
【锚点】这一篇只钉一个判断:低功效研究里那个「显著」的结果,不是对真效应的含噪估计,而是一台【放大器】——它把 d=0.2 的真效应,以 d≈1.0 的形状登在期刊上。放大倍数不是运气,是选择机制的确定性输出。
【显式】先摆三个可查的事实。 1. Gelman & Carlin (2014, Perspectives on Psychological Science) 把这类失真拆成两种:Type S(符号错)与 Type M(量级错);结论是低功效下即使 p<0.05,效应量的期望值也会被系统性放大数倍。 2. Open Science Collaboration (2015, Science) 重复 100 项心理学研究:仅 36% 得到显著结果,重复研究的效应量中位数约为原研究的一半(r: .40 → .20)。 3. Button et al. (2013, Nature Reviews Neuroscience) 估计神经科学领域的中位统计功效约 0.21。
【隐式】把这三个数放在一起,一半的「缩水」不需要用造假来解释:只要原研究功效低,已发表的效应量就必然是条件分布的高分位,而不是总体均值。
【推演】给一个能自己按计算器的例子。真实 d=0.2,两组各 n=20,d̂ 的标准误 ≈ √(4/20)=0.45,双侧 α=.05 的门槛是 |d̂|>0.88。 - 这个设计抓到真效应的概率 ≈ 6.5%。100 个这样的研究里,约 93 个什么也看不见,7 个「成功」。 - 那 7 个成功者的 d̂ 期望值 ≈ 0.2 + 0.45 × [φ(1.51) / (1−Φ(1.51))] ≈ 1.07。 - 真效应 0.2,发表出来像 1.07,放大 5 倍;而且这 7 篇全部通过 p<0.05。
【流程节点链路】真实效应 d=0.2 → 低功效抽样(n=20/组,功效 6.5%)→ 显著性门槛筛掉 93% 的诚实结果 → 幸存者条件分布右移 → 期刊上的 d̂≈1.07 → 后续元分析与样本量规划把它当真值。一个节点都不能省:放大发生在【筛选】这一步,不在【测量】这一步。
【细微】所以「重复研究效应量减半」不该被读成「原研究者有问题」。OSC 2015 的 r 从 .40 掉到 .20,更像同一台放大器被关掉之后露出的底噪。细微之处在于:缩水幅度本身是可预测的——它大致等于 Type M 放大倍数,而不是一次「运气不好」。
【极难发现】更反直觉的一层:提高样本量不能「修复」文献,只能「停止继续污染」。已经发表的那批放大结果不会因为新研究变大而变小,它们只会被更精确的估计包围,然后继续被引用。修复发生在【设计阶段】,不发生在【分析阶段】。
【可操作的技法】做功效分析时多问一句 Type M 问题:不是「我能不能显著」,而是「如果显著,我的效应量会被放大几倍」。Gelman & Carlin 的做法是用 design prior 而非 analysis prior 规划样本量——把「我们打算发表的条件分布」当成规划对象,而不是把「我们想估计的参数」当成规划对象。
【值得辩论的问题】如果一个领域已发表的效应量全部经过同一台放大器,元分析聚合的到底是【真实效应】还是【放大器的输出】?我的立场:只有当元分析把未发表结果、预注册报告与大样本重复一起纳入时,它才在估计效应;否则它在估计筛选规则。反方会说随机效应模型加漏斗图检验已经处理了发表偏倚——那请给一个能被数据推翻的判据,而不是「大家一般都这么做」。







0 评论