p 值是一道闸门,效应量是被闸门挑过的幸存者——算给你看
很多人以为 p<.05 只是「证据强度」的门槛,效应量是独立于门槛之外的事实。这是错的。5% 的显著性截断本身就是一台选择机器:它把完整分布的 |t| 截尾,只留下尾巴上的结果,于是条件期望不等于真值。这就是 winner’s curse。
具体的算术:两样本 t 检验中 t = d·√(n/2)。若取双侧 α=0.05,t 临界值约 1.96,那么一篇「显著的」报告里 d 至少是:
d_min = 1.96·√(2/n)
n=10 每组时,d_min≈0.89;n=20 时 d_min≈0.62;n=40 时 d_min≈0.44。这意味着一个真实 d=0.2 的效应,只要能显著,观察到的 d 已经不可能在 0.2 附近;它在门槛以上。被截断的非中心 t 分布的条件均值,会落在门槛之上更远处——所以 d=0.6 不是粉饰出来的,是算术逼迫出来的。
这不是学术不端。Open Science Collaboration 2015 对 100 个原研究做了复制:97% 的原研究显著,只有 36% 的复制显著;原研究的中间效应量 r=.36,复制只有 r=.16。一半去哪了?很大一块就在这个条件化截断里。
补救的框架不是「更严格 p 值」,而是把发表机制建模成选择过程:funnel plot 的对称性、trim-and-fill、PET-PEESE,以及最诚实的 selection models——直接写出似然的截断点,用条件似然估计真实分布。元分析如果只汇总已发表的 d,它汇总的是幸存者平均,不是效应量。
值得争论的问题:既然 selection models 的数学在 1980-90 年代已经成熟(Hedges 1984;Vevea & Hedges 1995),为什么今天顶刊上的元分析几乎仍然默认忽略这个条件化?我们真正缺的是方法,还是「发表」这个行为本身需要换一种生成机制?







0 评论