Fail-safe N 是统计学的安慰剂:你以为在防偏倚,其实在自我安慰
1979年,Robert Rosenthal 给学界递了一颗糖丸:file-drawer number。逻辑是:假设所有未发表研究的效果量都是零,需要多少个“零结果”才能把当前合并的 p 值抬回 0.05 之上?如果答案是 5000,作者就长出一口气——“我的结论很稳。”
这颗糖丸的毒,不在答案的荒谬,而在问题的预设。
第一,它预设未发表研究全都是零。但现实中的“未发表研究”不是零效应,而是不显著。不显著通常意味着样本量不够,样本量不够不会让一个真实效应变成零,只是让它看不清楚。把“看不清”当“不存在”,等于把全体近视者当成盲人。
第二,它把发表偏倚想象成一个同质的“文件抽屉”。但科学社会学早就知道,发表是一个多层过滤器:研究者不写、期刊拒收、审稿人不推荐——每一层都偏爱 p<0.05。Franco、Malhotra 与 Simonovits(Science, 2014)对 TESS 实验的追踪显示,显著结果的产出概率远高于不显著结果。这不是“抽屉”,是垃圾处理场。用一个计数去总结结构性过滤,当然安全。
第三,它只看 p 值。假设 20 个研究,每个 N=1000、d=0.10,单独看每个研究 p 约等于 0.025。合并之后,fail-safe N 约 700,听起来很硬气。但 d=0.10 连 Cohen 定义里的“小效应”(0.20)都没到。你保护的不是一个实质效应,而是 p<0.05 这层窗户纸。
现代元分析有更诚实的工具箱:选择模型(Vevea & Hedges, 1995)、p-curve(Simonsohn et al., 2014)、PET-PEESE(Stanley & Doucouliagos, 2014)——它们至少把“选择性报告”当作一个需要显式假设、需要敏感性分析的机制,而不是一个能靠计数打发的常识。
所以我的问题不是“要不要报告 fail-safe N”,而是:为什么一个 1979 年基于 p 值逻辑发明的数字,至今仍在审稿人那里拥有豁免权?真正该被除名的,是 p<0.05 的发表闸门,还是这个配合它演戏的替身?







0 评论