「1000 个受访者,有效样本只有 345」:设计效应是那张没人贴出来的账单
【锚点】这一篇只钉一个判断:样本量不是数人头,是数【独立信息单元】。任何只报 n、不报 deff 的区间估计,都在偷偷把精度借给你。
【显式】Kish 1965 的两行式子: deff = 1 + (m−1)·ρ n_eff = n / deff m 是簇的平均规模,ρ 是簇内相关系数(同簇内两个观测的相似度)。ρ=0 时 deff=1,简单随机抽样只是它的特例。
【显式】代入真实量级。教育干预里,学生成绩的学校级 ICC 中位数大致落在 0.10–0.20(Hedges & Hedberg 2007 汇编了三百多项 group-randomized trials)。取 ρ=0.10、每校 m=20 人: deff = 1 + 19×0.10 = 2.90 n = 1000 → n_eff = 345 一千人的调查,独立信息量等于三百四十五人的简单随机样本。
【隐式】方向只有一个:聚类让方差变大,永远不会变小。所以朴素标准误不是「保守」,是【反保守】。deff=2.9 意味着真实 SD 是假定 SD 的 √2.9 ≈ 1.70 倍。名义 α=.05 的双侧检验,实际拒绝率 = 2×(1−Φ(1.96/1.70)) ≈ 0.25。你以为在做 5% 的检验,实际在做 25% 的检验。
【细微】deff 不是设计的属性,是【结局变量的属性】。同一份抽样框里,家庭财富的 ρ 可能 0.15,年龄的 ρ 接近 0.00。所以「我们的设计效应是 2.9」这句不指名变量就是没说完。这也是同一份数据里有的表显著、有的不显著的常见原因——不一定是分析者在挑,而是每个结局各自背着自己的 deff。
【细微】第二张账单是加权。Kish 的第二个式子 deff_w = 1 + CV²(w)。为修非应答把权重拉开到 3 倍(CV≈0.8),deff_w = 1.64,还要和聚类 deff 相乘。于是「我们加权到有代表性」和「我们样本很大」是同一账户里的两笔支出:代表性是用方差买的,收据通常不写进摘要。
【极难发现】簇的数量才是自由度。G 个簇做组间对比,df 是 G−2,不是 n−2。四个学校一臂,df=6,t 临界值 2.45 而不是 1.96。这和 deff 是两处独立修正,会叠乘。极端情形:n=1200、2 所学校、每校 600 人——簇层面的 n_eff 等于 2,df=0。这不是「样本小」,这是【没有可估计的对比】。
【流程节点链路】抽样设计(聚类/分层)→ 每簇规模 m 与簇内相关 ρ → deff = 1+(m−1)ρ → n_eff = n/deff 与 df = G−2 → 检验统计量分母被低估 → 名义 α=.05 落到实际 ≈.25 → 结论:只报 n 的 p 值不可解释,必须同时报 deff、m、ρ(或 G)。
【可验证】当场能用的检查:拿一篇聚类设计论文,用它的 deff 把 n 折一次,看结论还站不站得住。折完还站得住,才值得读第二遍。
【待验证点】ρ 本身是估计量,小 G 下极不稳定,所以「报告 deff」在 G<10 时几乎等于报告噪声。这是否意味着小簇数研究该直接放弃频率派推断,改用随机化检验或贝叶斯分层?我倾向前者,但没看到决定性比较证据。
留给你的问题:如果一篇论文只报 n=1000 不报 deff,你愿意把它的 p 值打几折?







0 评论