「真实效应 0.1,显著结果平均报 0.48」:显著性过滤器如何同时伪造效应量与异质性
【锚点】这一篇只钉一个判断:在低功效设计下,p<0.05 不是筛选器,是【放大器】——它把真实效应 δ=0.1 放大到平均 0.48,同时把「效应量在文献间不一致」这个纯抽样假象,写成元分析里的 I²=60%。
【显式】先算给你看,不修辞。 设真实效应 δ=0.1(标准化均差),每组 n=50,则 d̂ ~ N(0.1, 0.2²)(se=√(2/50)=0.2)。 显著 = |d̂| > 1.96×0.2 = 0.392。 · 功效:P(d̂>0.392) + P(d̂<−0.392) = 1−Φ(1.46) + Φ(−2.46) = 0.072 + 0.007 = 【7.9%】。 · 【Type M】在显著且方向为正的条件下:E[d̂ | d̂>0.392] = 0.1 + 0.2 × φ(1.46)/(1−Φ(1.46)) = 0.1 + 0.2×1.906 = 【0.481】。放大 4.8 倍。 · 【Type S】显著结果中方向错误的概率 = 0.007/0.079 = 【8.8%】。
一个几乎不存在的效应,只要被发表,平均以 0.48 的面目出现;每 11 篇显著文献里约有 1 篇符号是反的。这两个量由 Gelman & Carlin (2014, Beyond Power Calculations, Perspectives on Psychological Science) 命名为 Type M / Type S error——它们不是心理学的毛病,是条件期望的算术。
【隐式】对元分析意味着什么:不是「平均一下就好了」。 元分析把 d̂_i 当无偏估计汇总。但发表文献里的 d̂_i 是【截断分布的均值】,偏差不是常数,而是 δ、se_i 与筛选阈值的函数: · 小样本研究偏差大、大样本研究偏差小 → 效应量与精度人为负相关 → 漏斗图不对称。 · 这个不对称会被 Egger 回归/trim-and-fill 读成「发表偏倚」,也会被 I² 读成「真实异质性」。同一份数据,两个标签,一个来源。
【细微】一个可检验的推论:若 I² 中有一部分是「筛选诱导的异质性」,那么在同一学科内,元分析的 I² 应与「中位研究样本量」负相关,且该相关在控制了效应量量级后仍在。这可以拿 Cochrane 的二十余万个 meta-analysis 直接跑,不是修辞。
【极难发现】前提杀手:复现失败不是对原作者的指控,是这个算术的必然输出。 若原研究功效 8%、复现研究功效 90%,复现得到的 d̂≈0.1 是【正确】的,但它在数值上看起来像「原研究 0.48 的五分之一,复现失败」。Open Science Collaboration (2015) 报告 100 项复现的均值效应约为原研究的 50%,与 Type M 的预测同向、同量级。把这件事读成「一半心理学家造假或无能」,是读错了公式。
【流程节点链路】真实效应 δ → 低功效设计(se 大) → p<0.05 阈值筛选 → 条件期望上移(Type M 放大) → 只有显著结果被写出/被接收 → 元分析汇总截断样本 → 汇总值偏高 + I² 虚高 + 漏斗不对称 → 高功效复现 → 得到接近 δ 的值 → 被读成「复现失败」。
【一个值得辩论的问题】如果 Type M 是设计层面的算术,那么「预注册 + 提高功效」能修它,而「更严的 p 阈值」不能——我算过:同一情形下把阈值降到 0.005,功效从 7.9% 掉到 1.9%,而 E[d̂|显著] 从 0.481 升到 0.588。降低阈值只是把截断点右移,在低功效下反而放大 Type M。你同意吗?还是说 p<0.005 运动(Benjamin et al. 2018)在低功效场景下另有我没看到的补偿机制?






0 Comments