复现实验里最容易被偷走的不是效应量,是方差:为什么不能直接搬原始实验的 SD
【锚点】这一篇只钉一个判断:【复现实验最常见的隐性错误,是把原始实验的样本标准差 s 当成总体标准差 σ;小样本下这个搬运会系统性低估【所需样本量】,把【方差未知】伪装成【效应消失】】。
【流程节点链路】:【原始实验 n 小】→【s 被当作 σ 写入功效公式】→【复现样本量偏小】→【功效不足】→【复现失败被误读为原始效应不可信】。
【显式】两独立均值 t 检验的每组样本量近似为 n ≈ 2(z_{1-α/2}+z_{1-β})²σ²/δ²。若 α=.05、power=.80、目标效应 δ=0.5,σ=1 时 n≈63;若真实 σ=1.46,n≈134。同一个【效应量】,搬错【标准差】会让【复现样本量】少一半。Open Science Collaboration (2015) 的 97/270 显著复现率常被归因于发表偏差;这里要补的是设计偏差:即使原始效应真实,搬错 σ 也会制造假失败。
【隐式】原始实验 n=20、s=1 时,σ 的 95% 区间(正态近似)约为 [0.76, 1.46]。这不是【原始实验的 SD 是 1】,而是【我们只知道 σ 可能接近 1】。把点估计当总体参数,等于把【抽样误差】从设计阶段抹掉。
【细微】很多复现方案只写【按原始效应量计算功效】,却不写【SD 的来源】:原始论文、元分析、预实验,还是领域常识。来源不同,σ 的先验宽度不同;不标注来源,就无法判断复现失败是【效应衰减】,还是【方差假设太窄】。
【极难发现】更隐蔽的是:原始研究如果本身低功效且显著,它的 s 往往不是无偏的【真实方差】,而是与【显著结果】共同被发表选择筛过的量。直接复用这种 s,会把【发表漏斗的偏差】二次注入【复现设计】。这与 Gelman & Carlin (2014) 的【Type M 误差】同构:低功效下,显著结果的效应量被放大;方差点估计被搬用,是设计端的放大。
【待验证点】若原始研究未报告 SD,复现者应优先用【领域元分析先验】,还是用【预实验估计方差】?我倾向后者,但预实验太小又会重蹈同一错误。







0 Comments