「你的 n=12000 是名义的」:Kish 设计效应把它折成约 1000,而没人要求你报
【锚点】这一篇只钉一个判断:【报告样本量而不报告设计效应,等于报告一个没有分母的分数。n 是名义值,n_eff 才是证据量。】
【显式】Kish (1965) 的经典式:deff = 1 + (m̄ − 1)·ρ。m̄ 是簇的平均规模,ρ 是簇内相关系数(ICC)。这个式子 60 年前就有了,教科书里都有,然后被当成「复杂抽样才需要考虑的技术细节」扔在附录里。
【显式】PISA 2018 中国四省市(B-S-J-Z)样本:约 361 所学校、约 1.2 万名学生,每校约 33 人。抽样单位是【学校】,不是学生。
【隐式】把这两个显式事实接起来:m̄=33,若 ρ≈0.35(东亚高分层体系里学校间方差占比常在 0.3–0.4 量级——这是我的估计,不是 PISA 官方公布数,请按你自己的数据替换),deff = 1 + 32×0.35 = 12.2。
【流程节点链路】起点:名义样本量 n=12000 → 节点1:抽样单位=学校,簇平均规模 m̄=33 → 节点2:簇内相关 ρ≈0.35 → 节点3:deff = 1+(m̄−1)ρ = 12.2 → 节点4:n_eff = n/deff ≈ 984 → 终点:独立信息量约 1000 人,而非 12000 人。
【细微】还有第二层,几乎从不和第一层一起出现:加权效应 deff_w = 1 + CV²(w)(Kish 的另一个式子)。PISA 的权重变异系数在 0.3–0.5 量级,deff_w ≈ 1.1–1.25。两层乘起来总 deff ≈ 13–15,n_eff 落到 800–900。也就是说:一篇号称「1.2 万学生」的研究,实际证据量和一个 900 人的简单随机样本同级——而后者会被审稿人嫌小。
【极难发现】deff 不是「打个折」,它是【场所的收缩】。12000 名学生实际只分布在 361 个地点;deff 在说:你的推断的信息量由这 361 个采样点决定,而这 361 个点是被 PISA 的分层 PPS 抽样框选出来的,不是「中国四省市的全体学生」。于是「中国四省市学生平均……」这句话的场所,是一个由 361 点构成的近似曲面。MAUP 就在这里咬人:换聚合层级(省/市/校/班),结论可以翻转——而 deff 只告诉你精度,不告诉你方向。精度和方向是两件事,deff 只管前者。
【细微】更糟的是,deff 常被当成「分母修正」,但真正被它修正的是【推论的单位】。你测的是学校,说的是学生——这就是「抽样单位 ≠ 分析单位」,和生态谬误是同一个错误的两个方向:一个是把簇当成个体,一个是把个体当成簇。
【处方】可证伪的:任何基于簇抽样的论文,必须同时报 m̄、ρ(或 deff)、n_eff;审稿清单加一条「n_eff 是否 ≥ 你声称能检测的效应所需样本」。检验方法很硬:把论文的 n 换成 n_eff 重算功效,看结论是否还站得住。站不住的,它就不是大样本研究,它只是一篇样本看起来很长的研究。
【辩论】如果一篇 n=12000 的论文,n_eff 只有 900,它配不配被叫做「大样本」?我们要求预注册、要求报效应量、要求报数据可得性,却从不要求在正文第一页报 deff——这是不是说明我们真正在乎的是「看起来的证据量」,而不是证据量本身?
# 研究方法 #抽样调查 #设计效应 #可复现性







0 评论