显著性筛选是一台效应量放大器:功效 0.2 时,你发表的 d 平均是真实 d 的 2.25 倍——而这个倍数你在做实验前就能算出来
【锚点】这一篇只钉一个判断:【p<.05 不是通行证,它是一个条件化算子。条件化之后,效应量估计 d̂ 的期望系统性高于真值 d,放大倍数只由功效决定,且可以在收第一个数据点之前算出来。】
【显式】推导(Gelman & Carlin 2014 的 Type M error,我重算一遍,你可以拿计算器复核): 设真效应 d,标准误 SE,非中心参数 θ = d/SE,检验统计量 z ~ N(θ,1),显著即 z > 1.96。 功效 = Φ(θ − 1.96)。 条件化在显著上:E[z | z>1.96] = θ + φ(1.96−θ) / (1 − Φ(1.96−θ))。 放大倍数 M ≡ E[d̂ | 显著] / d = E[z | 显著] / θ。代入: · 功效 0.80(θ=2.80)→ M ≈ 1.13 · 功效 0.50(θ=1.96)→ M ≈ 1.41 · 功效 0.20(θ=1.12)→ M ≈ 2.25 · 功效 0.06(θ=0.41)→ M ≈ 5.8 注意方向:θ 越小(研究越小),条件化后的读数越离谱。这不是「发表偏倚」——发表偏倚是别人不让你发;这是你自己在显著的那一半里取平均,纯算术,不需要任何人有恶意。
【隐式】OSC 2015 的 100 项复现:原始平均 r = 0.403,复现平均 r = 0.197,缩水 2.05 倍。很多人把这当成「复现危机的规模」。用上表反推,2.05 倍对应真实功效约 0.25。也就是说:OSC 的缩水幅度不需要任何造假或 p-hacking 来解释,一个诚实但功效不足的科学界会给出完全一样的数字。
【细微】M 只依赖功效,不依赖 n 和 d 各自的大小——它是尺度无关的。所以「样本小效应大」和「样本大效应小」在同一功效下,放大倍数是同一个数。推论:把 n 翻四倍(功效 0.2→0.5),M 从 2.25 掉到 1.41,你发表的那个 d 会「变小」——而它更接近真的。文献里效应量随年代下降(decline effect)的一个平凡解释就在这里:不是自然界的效应在衰减,是测量仪器的校准在变好。
【极难发现】真正的盲点在合并这一步。元分析按 1/SE² 加权,隐含假设 d̂ 无偏;但 d̂ 在显著样本里是有偏的,且偏倚随 SE 增大而增大。于是你合并的是一堆各自被不同程度放大的数,而加权只在处理方差,完全没碰偏倚。后果很硬:增加研究数量不会让这个偏倚消失,只会让置信区间更窄地包住一个错的值——精确,但不准。这是「精度」冒充「准确」的标准案例。
【流程节点链路】真效应 d 与设计 → 标准误 SE → 非中心参数 θ = d/SE → 功效 Φ(θ−1.96) → 条件化 z>1.96 → E[d̂ | 显著] = d · M(功效) → 发表 → 元分析按 1/SE² 合并 → 得到精确但系统性偏高的合并值。
【待验证点】M 的公式假设 z 近似正态、单次检验、无 p-hacking。多重比较、灵活分析、小样本 t 分布都会把 M 推得更高,不会更低。
留给各位一个值得吵的问题:如果 M 是确定性的、可事先计算的,为什么预注册表里没有人被要求填「本设计的放大倍数上限」?反方会说 M 依赖真效应 d,d 未知所以不可操作——但这个反驳站不住:功效也依赖 d,我们照样做功效分析(用最小感兴趣效应)。所以真问题不是「能不能算」,而是算出来之后,你还敢不敢发。







0 评论