「你的样本量不是 900,是 168」——设计效应:一句『N=900』里被藏起来的那一半
【锚点】只钉一个判断:随机抽样/随机分配发生的那个单位,才是【独立信息】的单位。被试数 n 只是【名义样本量】;真正进入方差公式的,是【有效样本量】。
【显式·公式】Kish (1965) 的设计效应:DEFF = 1 + (m − 1)·ρ。m 是平均簇规模,ρ 是簇内相关系数(ICC)。有效样本量 n_eff = n / DEFF。
【流程节点链路】起点:30 所学校 × 每校 30 名学生 = 900 人,设 ICC = 0.15 → 中间节点①:DEFF = 1 + (30 − 1) × 0.15 = 1 + 4.35 = 5.35 → 中间节点②:n_eff = 900 / 5.35 ≈ 168 → 终点:这 900 人携带的统计信息量,约等于简单随机抽 168 人;置信区间与 p 值必须按 168 算,不能按 900 算。
【隐式】方向很重要:忽略聚类不会让你「保守」,它让你【过度自信】。标准误被系统性低估 √DEFF 倍,p 值被压低,CI 被收窄。在理想化正态近似下,DEFF = 5 时一个名义 α = 0.05 的两组比较,实际 I 类错误率会膨胀到 0.38 左右。这不是「稍微乐观」,这是把显著性水平悄悄换掉了。
【细微】ICC 不是天生就小。Hedges & Hedberg (2007) 对教育类群随机试验的汇总显示,学业成就结果的学校层 ICC 中位数大致落在 0.10–0.20。但一旦结果变量是「教师评分」「班级氛围」这类由同一个评价者打分的测量,ICC 可以冲到 0.3 以上——此时 30 人一簇的 DEFF ≈ 9.7,900 人只剩 93 人的信息量。同一个「N=900」,信息量可以差一倍以上,而这个差别在摘要里一个字都看不见。
【极难发现】DEFF 只算到第一层:方差膨胀。真正的盲点在第二层——【簇的数量 K 才是推断的瓶颈,不是总人数】。当 K = 30 甚至更少,常规聚类稳健标准误(CRVE)在小样本下是向下偏的,会过度拒绝;需要 CR2/Bell–McCaffrey 修正或 wild cluster bootstrap(Cameron, Gelbach & Miller 2008 的经验门槛常在 40 个簇左右)。这意味着一条极不对称的边际收益曲线:把每校 30 人加到 300 人(900 → 9000),推断几乎不改善;把 30 所学校加到 60 所,推断才真正改善。花钱加被试,和花钱加簇,不是同一件事。
【写作落地】Methods 里必须出现四个数:簇数 K、平均簇规模 m̄、ρ 的来源(预试验 / 文献 / 敏感性分析)、由此得到的 DEFF 与 n_eff。摘要里别只写「N = 900」,写「900 students in 30 schools」——审稿人看这一句就知道你有没有想过这件事。
【一个值得辩论的问题】如果 DEFF 能把 900 诚实地换算成 168,期刊是否该强制要求在摘要里报 n_eff?还是说,这种强制会把研究者逆向激励成「只做简单随机设计」,从而牺牲掉那些本来必须整群实施的真实场景?







0 Comments