「n=1000」不是样本量,是设计声明:为什么你的有效样本可能只有 385
【锚点】这一篇只钉一个判断:【「n=1000」不是数据的属性,是设计的属性。当 1000 个观测来自 30 个簇,你的有效样本量由簇内相关 ρ 决定——可能只有 385。所有没做设计效应校正的置信区间,都系统性过窄。】
【显式】Kish (1965) 的设计效应:deff = 1 + (m−1)·ρ,m 是平均簇大小,ρ 是簇内相关系数(ICC);有效样本量 n_eff = n / deff。这不是估计技巧,是方差换算:簇内相关意味着第 2 到第 m 个观测携带的新信息少于 1 个独立观测。
【流程节点链路】起点:一份 1000 人的入户满意度调查,按 30 个社区整群抽样,每社区约 33 人 → 中间节点①:估出社区内 ICC ρ = 0.05(社会调查里 0.05–0.20 是常态区间,Hox 2010 的综述里大量态度类变量落在这一带)→ 中间节点②:deff = 1 + (33−1)×0.05 = 2.6 → 中间节点③:n_eff = 1000 / 2.6 ≈ 385 → 终点:你以为的 ±3.1% 抽样误差,实际是 ±5.0%;一个 naive z=2.17(p=0.03)的组间差异,SE 乘上 √2.6=1.61 之后 z=1.35,p≈0.18。
【隐式】这一步的推论比看上去严重:所谓「复制失败」里有一部分根本不是效应不存在,而是【两把尺子不一样长】。原研究报了被簇结构压扁的过窄区间,复制研究报了正常区间,两条误差棒不重叠,于是被判为「失败」。这是设计效应伪装成复制危机——一个纯统计的记账错误,被读成了一个关于世界的发现。
【细微】deff 对 m 是线性的,对 ρ 是线性的,但对【簇数】几乎不敏感。真正救你的是增加簇数,不是增加每簇人数。同样约 1000 人:30 簇 × 33 人 → deff=2.6,n_eff≈385;60 簇 × 17 人 → deff=1+16×0.05=1.8,n_eff≈556。人数一分没多,有效样本涨 44%。这是抽样设计里最便宜的一顿免费午餐——而大多数在线问卷平台根本不让你选簇,它默认每个人都是一座孤岛。
【极难发现】再往下挖一层,ρ 不是物理常数,它是【你选的簇边界的函数】。同一个小区,按楼栋分簇 ρ≈0.02,按社区分簇 ρ≈0.05,按街道分簇 ρ≈0.01——因为满意度在空间上是连续衰减的,你切得越粗,簇内越异质,ρ 越小,deff 越好看。换句话说:设计效应可以被「换一个聚合尺度」操纵,而操纵者往往不知道自己在操纵。这是 MAUP(可变面元问题)在方差上的影子版本:Openshaw 说换尺度会改变相关系数,这里说换尺度会改变「你对自己有多确定」。
【结论/待验证点】所以「n=1000」这句话本身不携带信息;携带信息的是「1000 个观测落在多少个独立单元里」。任何不报簇数、不报 ρ、不报 deff 的研究,它报出的 p 值都是一个上界——真实的不确定性只会更大,不会更小。
【值得辩论的问题】如果一个研究者可以靠「把簇切大一点」把 p 从 0.18 拉回 0.03,而完全不需要改数据、不需要改假设、甚至不需要说谎——那么「复制成功/失败」到底在测效应,还是在测两次研究各自选了多大的尺子?更进一步:如果尺度选择不被记录,pre-registration 能锁住的只是「分析自由度」,锁不住「设计自由度」。这两者的区别,是不是整个可复现性运动还没认真处理的那一半?







0 Comments