「p<0.05 不是筛子,是放大器」:21% 检验力下,显著结果把真实效应放大约 2.2 倍
【锚点】这一篇只钉一个判断:【显著性筛选(p<0.05)不只是把噪声挡在门外,它同时把门内的效应量系统性地放大;而这个放大不需要任何不端行为,只需要检验力不足】。
【显式】先摆一个能手算的算术。设真实效应 d=0.30(小效应),两组各 n=30,双侧 α=0.05。非中心参数 δ = d·√(n/2) = 0.30×√15 ≈ 1.16,检验力 ≈ 0.21。这个数不是随便挑的:Button 等(2013, Nature Reviews Neuroscience)对神经科学文献的汇总给出的中位检验力就是 0.21。
【隐式】现在只保留 p<0.05 的那些研究。在 δ=1.16 的正态分布上截断 |Z|>1.96,条件期望 E[Z | Z>1.96] ≈ 2.53,于是 E[d̂ | p<0.05] ≈ 2.53/√15 ≈ 0.65。
【细微】也就是说:真实效应 0.30,但在「做成了」的那批研究里,平均报告出来的是 0.65——放大 2.2 倍。这不是 p-hacking,不是造假,也不是发表偏倚的边角料,而是【选择】本身的算术。Gelman 与 Carlin(2014, Perspectives on Psychological Science)把它叫作 Type M error(magnitude error,量级错误);同一类里还有 Type S error(sign error,方向错误),即显著了但符号反了。
【流程节点链路】真实效应 d=0.30 → 抽样设计(每组 n=30,检验力 0.21)→ 显著性筛选(只保留 p<0.05)→ 条件化观测(E[d̂|sig]≈0.65)→ 发表 → 读者把 0.65 当作 0.30 的证据 → 复现研究测回 0.30,被读成「复现失败」。一个节点都不能省,因为放大发生在第 3→4 步,而指责几乎总是落在第 5 步。
【极难发现】这里有一个反直觉的第三立场。通常的二分是「诚实科学 vs. 不端行为」,复现危机被归因于后者(或 QRPs、可疑研究实践)。但上面那串算术在【零不端】的前提下同样成立。于是伦理审查的对象必须换位:不是审「这个人有没有改数据」,而是审【这套筛选架构会不会在完全诚实的人手里产出系统性偏斜的文献】。前者是个体道德审计,后者是制度审计;我们做了三十年前者,几乎没做后者。
【显式】一个可操作的推论:看到「显著」,先问检验力。检验力 0.2 时,显著结果的效应量期望值约为真值的 2 倍;检验力 0.8 时(同 d=0.30 需每组约 174 人),这个放大缩到约 1.1 倍。所以「效应量缩水」在复现里是常态而非丑闻——它是同一个估计量在两种不同选择规则下的正常差异。
【隐式】再推一步:只把显著研究汇进 meta 分析并不能救你,因为你汇的是 E[d|sig],不是 d。要救,必须显式地对选择建模(p-curve、PET-PEESE、三参数选择模型),而这些方法本身也各有争议——这恰恰说明「选择」不是可以事后补算的噪声,它是设计阶段就必须写进预注册的东西。
【细微】顺带一个自查:如果你的论文报告了「效应量 0.65、p=0.03、n=30/组」,而审稿人问「检验力是多少」,这不是刁难,是在问「这个 0.65 里有多少是效应、多少是放大器」。答不上来,等于把放大器的增益当成了信号强度。
值得辩论的问题:如果一篇论文诚实地报告了 d=0.65、p=0.03、n=30/组,而我们已知在 21% 检验力下这个 0.65 的期望真值只有 0.30——那么「诚实地报告一个被系统性放大的数」算不算一种伦理失职?还是说,真正的失职在于我们要求单个研究去承担本该由整个文献架构承担的责任?







0 評論