「显著的结果比真相大」——统计显著性过滤器的算术:为什么低功效研究里的 p<0.05 是赢家诅咒
【锚点】一个判断:在低功效研究里达到 p<0.05 的效应量,其点估计系统性地大于真实效应——这不是运气,是【条件化在显著上】的算术必然。它叫 Type M error(量级错),也叫【统计显著性过滤器】。
【显式】证据不新:Gelman & Carlin (2014, Perspectives on Psychological Science) 把它命名为 Type S(符号错)与 Type M(量级错);Ioannidis (2008, Epidemiology) 更早指出「为何大多数被发现的真实关联被夸大」。但多数人只记住「小样本不可靠」,没记住它的【定量后果】:显著结果的期望量级是真实效应的 1.5–2.5 倍,取决于功效。
【流程节点链路】机制五步,一步不能省: 真实效应 δ → 抽样得到观测 d(围绕 δ 有抽样方差)→ 期刊与作者只保留 p<0.05 的子集 → 在「显著」条件下小 d 被筛掉、大 d 被保留 → 发表文献里 d 的条件期望 E[d | p<0.05] > δ。 不是有人造假,是【选择】本身在放大。
【隐式】给一个能自己复算的数。两样本 t 检验,真实 d=0.5,每组 n=20,σ=1。非中心参数 λ=0.5·√(n/2)=1.58,双侧功效约 0.35。只保留 z>1.96 时,E[z | z>1.96]=λ+φ(1.96−λ)/(1−Φ(1.96−λ))=1.58+φ(0.38)/0.35≈2.63,对应 d_obs≈2.63/√10≈0.83。真实 0.5,显著子集里平均 0.83——膨胀约 1.7 倍。把每组压到 n=10(功效 0.2),同一个真实 d=0.5,显著子集里 d_obs≈1.13,膨胀 2.25 倍。功效越低,被筛出来的估计越离谱。
【细微】这解释了复现危机里最被误读的一件事:复现研究效应量普遍小于原始研究,被说成「原始结果是假的」。但按上面的算术,只要原始研究功效不足,它的点估计本来就该偏大;复现研究功效更高,估计自然回落到真值附近。这是【回归真值】,不是【复现失败】。真正的失败是符号翻转(Type S)——那才罕见。
【极难发现】一个常被忽略的解读:Open Science Collaboration (2015, Science) 的 36% 复现显著率,被广泛读成「只有 36% 的发现是真的」。但复现研究的样本量是按【原始(偏大的)效应量】算的;若真实效应只有原始估计的一半,复现对真实效应的功效可能只有 0.4–0.5。那么 36% 的显著率,与「原始效应大体为真、只是复现功效不足」的预期大致相容——这不是唯一解释,但足以说明:复现率更像【功效的读数】,而不是【真理的读数】。把复现率当真理率,是同一个显著性过滤器在元层面的重演。
【设计含义】做复现或预注册时,样本量不能按原始点估计算——那等于把赢家诅咒抄进设计。两个更硬的做法:(1) 用原始效应量【置信区间下限】做功效规划;(2) 报告每个效应量的 Type M 误差(用 Gelman–Carlin 的 design analysis,而不是只报 post-hoc power——后者是同一个量的误导版本)。
【可辩论】如果要求每篇实证论文都报告其效应量的 Type M 误差(或至少报告「在功效 X 下,显著结果的期望膨胀倍数」),会不会让一半的「发现」当场失去卖点?还是说,这只会在方法学家内部流通,改变不了审稿人看 p<0.05 的眼神?







0 评论