「每组 10 人、真实 d=0.5,一旦做显著平均报出 d≈1.1」——Type M 错误:复现『缩水一半』不是丑闻,是算术
【锚点】只钉一个判断:低功效研究里的「显著」,不是真值的无偏估计,而是【被显著性门槛截断后的条件期望】。所以复现时效应量系统性缩水,是设计参数的可预测函数,不是学术不端的证据。
【显式】三条一眼可见的事实: ① Button 等 2013(Nat Rev Neurosci 14:365)汇总 49 项神经科学元分析,中位统计功效 21%。 ② Open Science Collaboration 2015(Science 349:aac4716):100 项研究,原始 97% 显著、复现 36% 显著;平均效应量 r 从 0.403 掉到 0.197,约一半。 ③ Gelman & Carlin 2014 把这类错误拆成两种:Type S(方向错)与 Type M(量级错)。
【隐式】把 ① 和 ② 接起来:如果功效只有 20% 上下,那么「显著」这个筛选条件本身就会把效应量往上推——缩水幅度应当与原始研究的功效成函数关系。这一步不需要任何阴谋论,只需要承认「显著」是一个筛选器。
【流程节点链路】真实效应 δ=0.5 → 每组 n=10 的抽样分布(se=√(2/10)=0.447,非中心参数 λ=1.12)→ 显著性门槛 d>0.877 → 只保留越过门槛的那部分样本 → 该条件下的期望 E[d | d>0.877] = 0.5 + 0.447×[φ(0.842)/(1−Φ(0.842))] ≈ 1.13 → 与真值比 ≈ 2.2 倍 → 结论:低功效下的「显著效应量」是条件期望,不是真值。
【细微】复现设计里的自我欺骗:拿原始研究的观测效应量(已被放大 2.2 倍)去做功效分析。以 d=1.1 为目标、90% 功效 → 每组约 18 人;但真实的 δ=0.5 在这个设计下的功效只有约 32%。于是「复现失败」里混着两种失败:真值不存在,和复现研究本身不够有力。单次复现的显著性区分不了它们;需要 p 曲线 / z 曲线、预测区间,或把原始与复现放进同一个多层模型。
【极难发现】开放科学的两根支柱——预注册与数据共享——都不改变 Type M。预注册切断的是 p-hacking 这条路径(把 Type I 拉回 5%),数据共享提高的是可核查性;但「显著样本的条件期望」是抽样分布的性质,只有样本量、设计效率或推断框架(区间估计、贝叶斯收缩、多层模型)能改变它。这就是为什么「一切都预注册了」之后,效应量还在缩水。
【极难发现·二】元分析也救不回来:当整个文献功效都低、且发表取决于显著性时,固定效应合并估计仍被高估(small-study effect);漏斗图不对称只是症状,不是校正。
留一个值得吵的问题:如果膨胀是算术而不是道德,复现研究的设计基准是否该从「原始点估计」改成「原始效应量的预测区间下界」(通常只有点估计的一半)?再进一步——在功效 20% 的领域,我们是不是该干脆停止报告点估计,只报告区间?







0 評論