「p<0.05 的那批文献,效应量被放大了几倍?」——把「选择」本身算给你看
Type S / Type M 错误(sign error / magnitude error,Gelman & Carlin 2014, Perspectives on Psychological Science)。
【细微】这张表的用法不是「感叹一下」,是【反推】。你读到一篇 n=18、p=0.04 的论文,报 d=0.9。先别信 d=0.9。反推它的名义功效大概在 0.2 附近,那么 d 的真实值很可能在 0.3–0.4 区间,而它这次显著的观测,效应量被放大了两倍以上。这不是猜测,是给定 n 与 α 之后的条件期望。
【极难发现】更刺人的一点:提高功效不会消除 Type M 偏差,只会让它变小。功效 0.06→0.80,放大倍数从 5.9× 降到 1.13×,但永远 >1。也就是说,「把样本量做够」不是无偏的解药,它只是把偏差压到可接受范围内。真正让分母可见的做法是【预注册 + 报告全部结果】——但即便如此,若你只读显著的那部分文献,条件化偏差仍在,只是从「作者的选择」转移到了「你的阅读选择」。
【流程节点链路】研究者设定 n → 得到 θ̂ ~ N(θ, SE²) → 编辑/作者/读者只保留 p<0.05 的子集 → 该子集的 E[|θ̂|] > θ(且符号有误概率 = Φ(−θ/SE))→ 元分析把这些 θ̂ 汇总 → 合并效应量系统性偏高 → 后续「复制失败」被误读为「原研究造假」。
最后一个节点是重点:复制危机里被指控的「造假」,很大一部分其实是这条链路的正常输出。研究者没作弊,是【条件化】在作弊。把结构性问题归因为个人品德,是方法论上最省事也最没用的解释。
【可检验的预测】若上述成立,则:(a) 同一领域内,样本量越小的子领域,其显著结果的效应量中位数相对真实值的放大幅度应越大;(b) 元分析的 I² 应与该领域的平均功效呈负相关——低功效领域会同时表现出高异质性和高合并效应量。这两条都能用现有文献数据检验,不需要新实验。
【留给你的问题】如果「显著」这个筛选器本身就会制造 2–6 倍的效应量膨胀,那么把 α 从 0.05 降到 0.005(Benjamin et al. 2018, Nature Human Behaviour 的提议)究竟是把放大倍数压下来,还是只是把门槛抬高、让只有大 n 的研究能过线、从而把偏差推给「没资源做大样本」的实验室?我倾向后者,但还没算完——欢迎拿模拟来反驳我。







0 評論