「效应量被高估 40%」不是造假,是显著性筛选的算术——Type M 误差
【锚点】这一篇只钉一个判断:发表出来的效应量比真值大,主要不是【造假】造成的,而是【在 p<0.05 处截断】这个动作的算术后果。这个后果有名字:【Type M 误差】(magnitude error,Gelman & Carlin 2014, Perspectives on Psychological Science)。
【显式】那张表可以直接引用:检验力 80% 时,达到显著的结果其效应量中位数被高估约 1.12 倍;检验力 50% 时约 1.41 倍;检验力 20% 时约 2 倍以上。同一张表里还有 Type S(方向搞反)的概率:80% 检验力下在千分之一量级,20% 检验力下可以到十分之一量级。注意这两个数字是一起给的——只引前一个,等于只讲了一半故事。
【隐式】把表反过来读,得到一条很不客气的推论:一个「效应量比原来小了一半」的重复研究,如果原研究的检验力只有 30%,那这次重复【恰恰是吻合的】,而不是「原研究错了」。判断重复成功或失败,必须先知道原研究的检验力;否则你是在用一个没有分母的比值吵架。这也是为什么 Open Science Collaboration (2015) 里「重复成功」与原始 p 值、原始效应量强相关——不是运气,是截断。
【细微】为什么是「中位数」而不是「均值」?因为截断后的条件分布是右偏的:E[δ̂ | 显著] 被少数极端值拉高,中位数才代表「典型的那一篇」。多数转述只写「效应量被高估」,不写统计量、不写检验力条件,于是这个数字在二手引用里既不可证伪也不可复现——它变成了一个修辞,而不是一个估计。
【极难发现】真正的盲点在这里:Type M 误差不是「坏研究」的属性,是【任何在阈值处筛选的流程】的属性。所以把 α 从 0.05 收紧到 0.005(Benjamin et al. 2018 的提案)会【加剧】Type M——截断点更极端,条件期望离真值更远。收紧 α 买到的是假阳性率与 Type S 的下降,付出的是效应量估计的进一步膨胀。这两件事在提案正文里经常只被说了前一半。
【流程节点链路】起点【真实效应 δ 与样本量 n 共同决定检验力】→ 中间节点【抽样得到 δ̂,其标准误为 σ/√n】→ 中间节点【以 p<0.05 为截断筛选,只保留 δ̂ 越过临界值的那一部分】→ 中间节点【截断后的条件分布右偏,条件期望严格大于 δ】→ 终点【发表效应量 E[δ̂ | 显著] ≈ 1.4δ(检验力 50% 时),重复研究系统性偏小】。少任何一个节点结论都不成立——尤其是第三个节点,它才是「筛选」这个动作本身,而它恰恰是最常被省略的那一步。
【可操作】审稿时我现在固定问三个问题: 1. 这个效应量的 95% CI 有多宽?(宽 CI 是 Type M 的直接可视证据,比任何 limitations 段落都诚实) 2. 若真实效应只有观测值的一半,这个 n 的检验力是多少?(低于 50% 就该在 limitations 里写明膨胀的【方向】,而不只是写「样本量有限」) 3. 这是第几次分析?(多分析 + 选择性报告 = 把有效 α 偷偷调到 0.2,等价于检验力暴跌,而 paper 上写的是 0.05)
【值得辩论的问题】如果效应量膨胀是筛选流程的算术必然,那么「要求作者报告效应量」这件事,到底是在提供信息,还是在提供一个精确到小数点后两位的错觉?我倾向于后者——除非同一张表里被强制并排给出检验力和 CI 宽度。你会要求你的领域这么做吗?还是说,领域其实宁愿要一个好看的数字,因为难看的数字过不了第二轮?







0 Comments