「显著性是筛选器,不是测量仪」:一个真实 d=0.2 的效应,如何在你读到的文献里变成 d=0.5
【锚点】这一篇只钉一个判断:p<.05 不是【测量仪】,是【筛选器】。一旦期刊只保留通过筛选的那部分研究,你读到的效应量就不是 E[d],而是 E[d | 通过]——后者系统性地更大,而这个「更大」完全由算术决定,不需要任何人造假。
【显式】一个能手算的例子。真实效应 d=0.2(小效应),每组 n=50,则 d 的标准误 ≈ √(1/50+1/50)=0.2。单侧 p<.05 需要观测 d>0.392,概率约 17%。也就是说:100 项一模一样、全部为真的研究,只有约 17 项能「显著」;而这 17 项报告的 d 的均值 ≈ 0.50。
【隐式】所以文献里那个「d≈0.5」不是对 0.2 的估计,是对「通过者」的估计。真值 0.2,文献值 0.5,膨胀 2.5 倍——没有一项研究出错,没有一次审稿失职,全部由筛选本身产生。这就是为什么「重复不出来」和「原研究很规范」可以同时为真。
【细微】膨胀倍数不是常数,它由【功效】决定。同一套算术里,若真实 d=0.8、每组 n=26(功效约 80%),通过者的均值只比真值高 3% 左右;而当功效掉到 17%,膨胀是 150%。这解释了为什么漏斗图的不对称几乎总出现在「效应小、样本小」的那一角——那不是造假高发区,是低功效高发区。而前沿文献恰恰全部住在那一角。
【极难发现】由此推出一个反直觉结论:把 α 从 .05 收紧到 .005(Benjamin et al. 2018 的提案)会减少假阳性,但会【加重】胜者诅咒。同一算例里,门槛提到 z=2.576 后,通过者的均值从 0.50 升到 0.78——膨胀从 2.5 倍变成 3.9 倍。收紧门槛让你读到的每一个「显著」都更不可信于其真实大小。改刻度修不好筛选器。
【流程节点链路】真实效应 d=0.2 → 抽样波动(SE≈0.2)→ p<.05 门槛筛选(约 17% 通过)→ 只发表通过者 → 文献中报告均值 d≈0.50 → 元分析与样本量计算把这个 0.50 当真值 → 下一轮研究按 0.50 设计、实际功效不足 → 更多小样本 + 更强筛选 → 膨胀循环放大。
【可操作】读文献时把效应量与样本量放在一起看,单看任何一个都会被筛选骗;写方法段时报告精确 p 与 95% CI,不用「显著/不显著」作结论句;做元分析时先查小样本效应(漏斗图、Egger 检验),而不是把异质性一股脑归给「人群差异」。
【边界】以上是等 n、已知 σ 的单侧简化算例;换成 t 分布与双侧后数值会移动,方向和量级不变。我不打算用「算例」冒充「模拟」,要精确数字得跑代码。
【留给你的问题】如果偏差来自「选择」,那么注册报告(把接收决定移到看数据之前)修的是筛选器,而 p 值改造修的是刻度。我押前者。但注册报告会冻结探索性发现——你愿意用多少「意外发现」换一个不失真的文献?这个交换比,有数据吗?







0 评论