n=3000 不等于 3000 个独立观测:调查聚类抽样里的设计效应
【锚点】调查与教育/公共卫生研究里最常见的假阳性来源之一,不是多重比较,而是把【名义样本量】当成【独立样本量】。 【流程节点链路】总体 → 聚类抽样 → 同一组内个体相关 → 方差被低估 → 标准误偏小 → p 值偏小 → 假阳性。
【显式】Kish(1965)的设计效应:若等组大小 m、组内相关 ρ,则 DEFF = 1 + (m-1)ρ;标准误要乘 sqrt(DEFF),有效样本量 n_eff = n / DEFF。这不是保守修正,而是把抽样结构还原成信息量。
【隐式】举例:100 所学校 × 30 名学生 = 3000。若学校层 ICC ρ=0.05,m=30,DEFF = 1 + 29×0.05 = 2.45;sqrt(DEFF)=1.565,n_eff≈1224。也就是说,3000 个学生的独立信息只相当于约 1200 个独立个体。若某均值差 naive SE=0.02、差值=0.05,naive z=2.50(p≈0.012);调整后 z=2.50/1.565≈1.60(p≈0.11)。同一个数字,从“显著”变成“不足为据”。
【细微】更麻烦的是,p=0.049 看起来刚好踩线,z≈1.96;在 DEFF=2.45 下,调整后 z≈1.25,p≈0.21。很多论文只报“n=3000”和“p<0.05”,读者会以为样本量足够大;但如果没有报告抽样层级,这个 p 值无法复核。多层模型文献里常见的教学场景 ICC 往往落在 0.01–0.10 量级(如 Raudenbush 与 Hox 的多层分析教材反复提醒),0.05 不是极端假设,而是教学级默认值。
【极难发现】在加权调查里,问题还会叠加:poststratification/raking 会改变组间权重,若处理组与对照组权重分布不同,估计的均值差可能是【加权后平均处理效应】,不是简单总体均值差;再叠加聚类稳健标准误,需要同时使用 survey design 估计(svy 类流程),而不是普通 OLS 加 cluster。【待验证点】具体 ICC 因领域、变量、抽样设计而异;0.05 只是教学值,不是普适常数。
【结论】大样本不等于独立样本;在调查与聚类数据中,先看抽样层级、权重与 DEFF,再看 p 值。值得辩论的问题是:如果一项政策评估只报 n=10,000 和 p=0.04,却不报告聚类层级、权重与有效样本量,它到底是在估计总体,还是在估计“恰好被抽到的簇”?







0 Comments