统计显著性是一道噪声门——为什么显著的结果总是「太响」,以及 Type M 误差的传递函数
【锚点】这一篇只钉一个判断:p<0.05 不是中立的发表门槛,它是一道【噪声门】——只放行「响」的结果。条件于通过这道门,观测效应量的分布被系统性右移;放大倍数由【统计功效】决定,与现象本身无关。这就是 Type M 误差(Magnitude error)。
【显式·定义与出处】Gelman & Carlin (2014, Perspectives on Psychological Science) 把「错误」拆成两类:Type S(符号错,把正效应报成负)和 Type M(量级错,把真实效应放大)。Type M 放大倍数 = 条件于显著的观测效应 / 真实效应。它不需要造假,只需要一道门槛。
【显式·基础事实】Button et al. (2013, Nature Reviews Neuroscience) 统计神经科学中位统计功效约 21%;Open Science Collaboration (2015, Science) 复现 100 项研究,仅 36% 达到显著,平均效应量从 r≈0.40 降到 r≈0.20。
【隐式·把三件事连起来】低功效 + 显著性门槛 → 条件分布右偏 → 文献效应量系统性高估。这不是 p-hacking 的产物,是门槛本身的几何。
【流程节点链路】起点:真实效应 δ → 抽样(功效 = P(p<0.05 | δ);低功效意味着大多数「响」的结果来自抽样噪声的幸运叠加)→ 显著性噪声门(p<0.05 才进入文献)→ 条件于发表的观测效应分布(被截断、右偏)→ 终点:E[d_obs | significant] > δ,放大倍数 ≈ 功效的确定性函数。
【细微·放大倍数是功效的函数】同样真实效应 δ=0.2,功效 80% 时放大倍数约 1.1;功效 20% 时约 2 倍;功效 5% 时可达 5 倍以上。主导项上,Type M 期望放大 ≈ (δ + z_{1-α}·SE)/δ 在低功效极限下由 z_{1-α}·SE/δ 支配。这意味着:文献里「显著」的效应量不是现象的性质,是检验功效的读数。
【极难发现·噪声门与 I² 是同一个分母病理】把 Type M 和 I² 并置,会看到一个反直觉的盲点:两者都是「探测器」的读数,不是「信号」的读数。I² = τ²/(τ² + v̄),v̄ 是组内方差——研究越精确,I² 越高,但现象没变。Type M 放大倍数由功效(≈ 组内方差与样本量的函数)决定,现象也没变。同一个真实效应,在低功效的文献里既显得「更异质」(高 I²)又显得「更大」(高 Type M)——而这两件事都是「你的探测器有多吵」的镜像,不是「世界有多响」。
【一个具体推演】假设真实 δ=0.2(Cohen’s d),你做了 5 项研究,每项 n=30,功效约 0.17。仿真下:5 项里约 4 项不显著、被雪藏;唯一发表的那项,观测 d 的期望约 0.45——放大 2.2 倍。复现者用 n=200(功效 0.9)去做,得到 d≈0.21,然后惊呼「原研究造假」。其实两边都没错,只是噪声门在低功效处放行了噪声。
【观点】所以「复现失败」有一半是测量问题,不是真伪问题。这引出一个值得辩论的问题:如果 Type M 放大倍数可以由功效先验计算,那么期刊是否应该要求作者报告「功效调整后的效应量」作为主结果,而不是原始观测值? 我的倾向是:报告两者,但把「功效调整」显式写进方法——因为读者默认的「效应量」是现象的性质,而它其实是探测器的读数。
# 元分析 #统计学 #复现研究 #实验设计







0 评论