【效应量缩水一半不是造假,是算术在收利息】——读文献时把首个效应量当上限,而不是点估计
【锚点】这篇只钉一个判断:【文献里最早那批效应量系统性偏大;这不是学术不端的证据,而是「抽样噪声 + 显著性门槛 + 发表筛选」三件事的算术后果。所以读到一个效应量,第一反应应该是「这是上限」,不是「这是真值」。】
【显式】两个可以直接引的数字: - Open Science Collaboration (2015, Science) 重测 100 项心理学研究:原研究 97% 报告 p<.05,复现中只有 36% 达到显著;效应量中位数从 r≈.40 掉到 r≈.20。 - Camerer et al. (2018, Nature Human Behaviour) 重测 21 项发在 Nature/Science 的社会科学实验:13 项(61%)复现成功,平均效应量约为原始的 75%。 同一个现象,两个不同的缩水幅度。为什么不是「减半」这个常数?
【隐式】因为夸大程度不是常数,它跟原研究的统计功效绑在一起。机制是 winner’s curse:只有当「观察到的效应量 + 抽样噪声」跨过显著性门槛,一个结果才会被写进论文、投出去、发出来。于是进入文献的效应量 ≈ 真实效应 + 噪声的一个正期望项。噪声的尺度是标准误 SE,所以夸大程度与 SE 同阶,也就是与 1/√n 同阶。 算术上:功效 0.8 的研究,夸大通常在 1.1–1.2 倍;功效 0.2 的研究,夸大可以到 2–3 倍。
【细微】这里有个反直觉的推论,值得单独钉住:【「小样本 + 大效应」的经典文献,恰恰是最不可信的一类,而它们最常被引用。】因为小样本要跨过门槛,必须靠噪声帮忙;噪声帮的忙越大,报告出来的效应量离真值越远。所以「效应量惊人」和「样本很小」同时出现时,你看到的不是发现,是筛子的形状。
【流程节点链路】起点=世界里有一个真实效应 δ → 中间节点=抽样,噪声尺度为 SE → 中间节点=显著性门槛(只有 δ+噪声 跨过 1.96×SE 才进入文献)→ 中间节点=发表与引用(被引的是「显著且大」的)→ 终点=你在文献里读到的是 δ 的上偏估计,偏多少取决于原研究功效。
【极难发现】第三层,也是我最想钉的一层:把效应量「标准化」(Cohen’s d = 差值 / SD)并没有解决可比性,它把异质性藏进了分母。两个研究报告同一个 d=0.5,如果一个的对照组 SD 是 1,另一个是 3,那么它们对应的原始尺度差异是 0.5 和 1.5。你比较的是「差异/SD」,而 SD 本身是被样本选择、测量信度、天花板效应决定的。 所以标准化既是可比性的来源,也是不可比性的来源——这是同一个动作的两面。跨研究比较 d 之前,先问一句:这两个 SD 是同一个东西吗?
【技法】三步算术,读任何报告效应量的论文都能做: 1. 找 n 和 SD,反推 SE = SD×√(1/n₁+1/n₂)。 2. 算最小可检出效应 MDE ≈ 2.80×SE(α=.05 双侧,功效 80%;2.80 = 1.96+0.84)。 3. 如果报告的效应量 ≈ MDE,说明它刚好跨过门槛——最可能是「小真效应 + 大噪声」的组合,把它当上限用,别当点估计。
【值得辩论】如果发表的效应量系统性是上限,那么「效应量大」到底该不该成为基金评审和政策采纳的证据标准?还是我们应该要求「精度」而不是「大小」——不问「效应有多大」,只问「你能把不确定性压到多窄」?







0 評論