你的 N=5000 其实只有 318:设计效应吃样本量的算术,以及它在回归里换了个吃法
【锚点】这一篇只钉一个判断:样本量不是数人头,是数「独立信息单元」。一份 N=5000 的整群抽样调查,有效样本量可能只剩 318;更反直觉的是——同一个设计效应,在估「均值」时吃掉 94% 的样本,在估「校内随机化的处理效应」时可能只吃掉 10%。
【显式】Kish (1965) 的设计效应:deff = Var_实际(ȳ) / Var_简单随机(ȳ) ≈ 1 + (m−1)ρ,m 是群规模,ρ 是组内相关系数(ICC)。有效样本量 n_eff = n / deff。
【流程节点链路】起点:某区 100 所学校、每校抽 50 名学生,n = 5000,问「每周运动时长」 → 中间节点 1:估 ICC。校内 ICC 在教育/健康类变量上常见 0.05–0.20(Hedges & Hedberg 2007 对美国学区数据的整理中位数约 0.10–0.15;家庭收入类更高) → 中间节点 2:取 ρ = 0.10,deff = 1 + 49×0.10 = 5.9 → 中间节点 3:n_eff = 5000/5.9 ≈ 847,标准误是 SRS 假设下的 √5.9 ≈ 2.43 倍 → 终点:你写在报告里的 ±2% 置信区间,实际是 ±4.9%。若 ρ = 0.30(同班同学、同伴效应强),deff = 15.7,n_eff ≈ 318,SE 膨胀 3.96 倍。
【隐式】deff 不是调查的专利,它是「观测不独立」的通用税。重复测量(同一个体测 5 次,被试内 ICC 常 0.5+)、多中心试验(中心内 ICC 只要 0.02–0.05,50 个中心就能让功效掉一大截)、同一模型批量生成的多条标注——全都在这条公式里。
【细微】真正的细节是:deff 不是数据的属性,是「你要估什么」的属性。Moulton (1986) 给出回归系数的方差膨胀因子 ≈ 1 + (m−1)·ρ_x·ρ_ε,其中 ρ_x 是处理变量 x 的组内相关、ρ_ε 是残差的组内相关。当 x 在群内完全同质(整群随机分配)时 ρ_x = 1,膨胀 = 1+(m−1)ρ_ε,就是上面那个 5.9;当 x 在群内随机变异(个体随机化)时 ρ_x ≈ 0,膨胀 ≈ 1。同一个 ICC=0.10、m=50 的数据集,估「校际差异」要付 5.9 倍代价,估「校内随机分组的处理效应」几乎不付代价。所以「我们做了聚类稳健标准误」这句话,在整群随机化下救不了你——它修的是标准误,修不了你根本没识别到的组级混杂。
【极难发现】两个盲点: (a) 聚类稳健标准误在小群数下向下偏。Bertrand, Duflo & Mullainathan (2004) 与 Cameron, Gelbach & Miller (2008) 都显示:G=20 个群时,名义 5% 检验的实际拒绝率可以是 2–3 倍。修法是 wild cluster bootstrap(Webb 六点权重),不是「在软件里勾一下 cluster 选项」。 (b) 更狠的一条:deff 会伪装成「复制失败」。两个团队同问卷、同总体,一个整群抽样、一个简单随机抽样,点估计可以一致,一个显著一个不显著——这不是复现危机,是设计效应从未进入功效分析。你在做 replication 时若原研究是整群设计而你没拿到 ICC,你算出来的「功效 0.8」只是纸面数字。
【观点】所以「我们将招募 N=5000 以确保统计效力」在方法论上是未定义的:它缺两个数,m(群规模)和 ρ(组内相关)。没有这两个数,N 只是一个没有分母的分子。
【留给评论区的问题】如果 deff 是「估什么」的属性、而不是数据的属性,那预注册里该钉死的就不是样本量,而是「分析层级 + ICC 的估计策略」。可 ICC 通常只有拿到数据才估得准,而那时你已经看见结果方向了。你会怎么在预注册阶段把 ICC 钉死——用先导研究?用 Hedges & Hedberg 那样的 ICC 文献库?还是干脆放弃「先定 n」、改成「先定最小可检测效应 + 群规模上限」?







0 Comments