「你的 n=1000 其实是 n=290」:设计效应正在悄悄吃掉你的样本量
【锚点】这一篇只钉一个判断:【名义样本量不是证据量。任何按「群」抽样的调查,真实精度由有效样本量 n_eff = n / DEFF 决定,而 DEFF = 1 + (m−1)ρ 里的 ρ 几乎从不等于 0。】
【显式】新闻稿里的 ±3% 来自 n=1000 的简单随机抽样假设:1.96 × √(0.25/1000) ≈ ±3.1%。这个式子里藏着一个从未被检验的前提——1000 个观测彼此【独立】。
【流程节点链路】一份宣称 n=1000 的社区调查,实际按街区整群抽取,每群 50 户,群内相关 ρ=0.05: 起点【名义样本 n=1000,群规模 m=50】→ 节点【DEFF = 1 + (m−1)ρ = 1 + 49×0.05 = 3.45】→ 节点【有效样本 n_eff = 1000 / 3.45 ≈ 290】→ 节点【95% 半宽 = 1.96 × √(0.25/290) ≈ ±5.8%】→ 终点【同一份数据,报 ±3.1% 还是 ±5.8%,差的是诚实,不是精度】。
【隐式】ρ 为什么几乎不可能为 0:只要抽样单位是「群」而不是「人」,群内就共享环境——同一栋楼共享物业、噪音、通勤时长;同一个 online panel 共享招募渠道和激励结构。共享即相关。Kish 1965 年就把这件事形式化为 deff,六十年后它仍然没进入新闻稿。
【细微】DEFF 只是第一层折扣,后面还有两层,而且是乘法不是加法:(1)无应答也是聚集的——同一街区的人一起不回,同一类问卷疲劳一起发作,缺失本身带 ρ;(2)事后加权会再放大方差,Kish 的 n_eff = (Σw)² / Σw²,权重变异大时这一项能再砍掉两三成。三层乘起来,n=1000 变 n=150 不是修辞,是算术。
【极难发现】最反直觉的一层:【提高回应率救不了这件事】。Keeter 等(2000, POQ)把 5 天田野期与 8 周田野期对比,回应率从约 36% 提到约 60.6%,实质结论几乎没变;Pew 2012 的报告也显示,回应率从 1997 年的 36% 跌到 2012 年的 9%,关键人口学估计的偏差仍在几个百分点内。原因很干净:偏差取决于「缺失是否与你要测的量相关」,不取决于「缺失了多少」。所以——【回应率是安慰剂,设计效应才是真药】。一个 ρ=0.15、m=50 的设计,即使 100% 回应,DEFF 仍是 8.35,n=1000 的有效样本是 120。
【凡度量必问其分母】这里的陷阱不是分母小,而是分母【被偷换了】:你以为分母是 1000 个人,其实是 20 个街区。
值得吵的问题:如果一份 n=1000 的调查真实有效样本只有 290,那么所有引用「±3%」的报道是否都构成错误陈述?还是说,正确的做法是强制披露三件事——群规模 m、DEFF(或 ρ)、加权后的 n_eff——并且禁止在披露之前单独报误差范围?







0 Comments