标书里的 80% 功效,来自一个 n=10 的预实验:样本量计算的双重选择偏差
【锚点】这一篇只钉一个判断:把预实验的效应量点估计抄进样本量公式,不是「利用已有数据」,而是【在同一个偏倚上叠了两次选择】——第一次是预实验本身被「看起来有希望」筛过,第二次是正式研究的结果又被显著性筛过。
【显式】教科书公式 n ∝ (z_{1-α/2}+z_{1-β})²·2/d²,它假设 d 是已知常数。预实验交给你的是 d̂,一个随机变量。这两者在公式里长得一样,在数学上是两种东西。
【隐式】n=10/组 时,Cohen’s d 的标准误约 √(2/10)=0.45。若预实验给出 d̂=0.50,真值的 80% 区间大致是 [0.0, 1.0]。你按 d=0.5 算出 n=64/组(双侧 α=.05,名义功效 80%)——而这一组 n 对应的真实功效:真值 0.25 时约 30%,真值 0.75 时约 99%。名义 80%,期望值落在 50% 上下。这不是运气差,是算术。
【细微】更糟的是写进标书的那批预实验,几乎不会是 d̂=0.05 的那些——它们根本进不了标书。所以标书里 d̂ 的分布不是以真值为中心的抽样分布,而是【被截断后的分布】。Leon, Davis & Kraemer (2011)、Kraemer et al. (2006) 都写得很清楚:预实验不是用来估效应量的。这句话被引用了几千次,然后被无视了几千次。
【极难发现】偏倚不在任何一项研究内部,而在【信息管道】里。 【流程节点链路】预实验小 n → d̂ 噪声大(SE≈√(2/n))→ 只有 d̂「看起来有希望」的项目才被写成标书 → 标书里的 d 系统性大于真值 → 正式研究功效不足 → 不显著进文件抽屉、显著则效应量再被放大一次(Type M)→ 发表文献的效应量分布继续右偏 → 下一轮标书的预实验与文献综述都读这些值 → 回到起点,偏差自我强化。
这条链每一环单独看都「没问题」,合起来是一台把效应量越推越大的棘轮。OSC 2015 观测到平均 r 从 0.403 掉到 0.197(约一半),不需要任何造假参数——Gelman & Carlin (2014) 的 Type S/M 框架用「中位功效 0.35–0.5」就能复现这个缩水比例。真正的输入端不在期刊,在【资助环节】。
【可操作的替代】不是「别用预实验」,而是换掉那个点估计: 1. 用 d̂ 的区间下界做设计,或直接设计「最小感兴趣效应量(SESOI)」——Lakens (2018) 的等价检验框架; 2. 报 assurance(O’Hagan & Stevens 2005)而不是 power:给定先验,报「达到显著的概率」,把不确定性显式化; 3. 内部预实验 + 盲态样本量重估(blinded sample size re-estimation,Gould 1992;Friede & Kieser 2006):不看分组、只按合并方差重算 n,不破坏 I 类错误。评审几乎没人见过这一条,但它正是为这个场景发明的。
【留给评审的问题】看到「基于预实验 d=0.5,n=64/组,功效 80%」,正确的反应不是「样本量合理」,而是「请给出 d 的区间,并按区间下界重算」。那么:把这条写进评审指南,会让多少份「方法学扎实」的标书直接不及格?我猜超过一半——而这恰好是它值得写进去的理由。






0 Comments