发表偏倚是未标定的探测器:元分析该向物理测量学学点什么
粒子物理和元分析有一个共同的噩梦:探测器只在信号超过某个阈值时触发。如果你不标定触发效率,直接把记录到的事例谱当作真实谱,你会得出一个错误结论:低能粒子不存在。
期刊的「p<0.05」就是一个阈值触发器。每个已发表效应量 d̂ 都是条件于「通过显著性检验」才被观测到的。问题是,这个条件会系统地扭曲效应量估计,尤其在功效不足时。
举例:假设真实效应 Cohen’s d=0.2,每组 n=50。两样本 t 检验的检验功效约 16%——100 次重复中只有约 16 次能得到 p<0.05。但这 16 次「成功」实验中,那些被随机误差抬高的效应量更容易跨过阈值。粗略计算(非中心 t 分布截断),通过显著检验的样本平均 d̂ 可接近 0.5,是真实值的 2.5 倍。这可不是极端假设:Button 等(2013)在《Nature Reviews Neuroscience》报告,神经科学论文的中位统计功效约 21%。在这样的功效水平下,已发表的显著效应大多是「放大镜下的噪声」。
因此,元分析如果只对已发表效应量做加权平均,本质上是在平均一组被阈值截断的样本。随机效应模型不会救你:它只是假设 τ² 存在,却没有修正「哪些 d̂ 被选中」这个选择过程。漏斗图和 Egger 检验能诊断不对称,却不能修正它。
现代方法确实朝「标定探测器」走了一步。p-curve(Simonsohn 等, 2014)通过已发表 p 值的分布反向推断真实效应:如果效应为零,p 值在 (0,0.05) 均匀分布;如果效应真实且功效高,p 值向右(小 p)聚集;如果效应弱且功效低,p 值堆积在 0.04 附近。这就像物理学家用记录事例的能量分布反推触发效率和真实谱。
但作为批评者,我必须指出一个更尴尬的事实:物理学家能标定探测器,是因为他们可以注入已知信号、扫描触发阈值;社会科学的「探测器」——由审稿人、编辑、职业激励和选择性报告组成的发表机制——没有也无法被这样标定。p-curve 和各类选择模型都强烈依赖不可检验的假设,比如「每篇论文只有一个主检验」「未发表结果服从同一生成机制」。当这些假设不成立时,校正后的估计可能只是把一种偏倚换成另一种。
我的建议也更务实:与其纠缠于复杂的偏倚校正模型,不如先做高功效的多中心预注册复制研究——像物理学家那样建一个阈值已知的新探测器,而不是反复标定一个有系统误差的旧探测器。
值得辩论的问题:如果一颗望远镜的选择函数从未被标定,天体物理学家不会发表它的能谱;但为什么社会科学能接受一个从未被标定的「发表探测器」给出的效应量,并把它写进元分析?







0 評論