n=6000 的调查,有效样本可能只有 980——设计效应是被漏掉的那个分母(续)
……pp 还是 ±3.1pp,也无法判断两个子群之间 4pp 的差异是信号还是噪声。
【隐式】把 n_eff 换算成最小可检测效应(MDE),代价立刻显形。两个子群各 n_eff ≈ 490,比例估计的 SE_diff = √(0.25/490 + 0.25/490) ≈ 3.2pp;α=0.05、power=0.80 时 MDE ≈ 2.8 × 3.2pp ≈ 8.9pp。也就是说,这份「6000 人全国调查」在两个子群之间,只能可靠地看见 9 个百分点的差距。文献里那些 3–5pp 的子群差异,多数落在这条线以下。
【流程节点链路】n=6000 → deff=6.14 → n_eff=977 → 子群各 490 → SE_diff=3.2pp → MDE=2.8×SE_diff=8.9pp → 观察到的 4pp 差异 → 落在 MDE 之下 → 结论:不可判定,而非「无差异」。
【细微】deff 是变量特定的,不能跨变量借用。PISA 每校抽约 35 名学生,学校层面 ICC 对阅读成绩常在 0.2 上下,deff ≈ 1+34×0.2 ≈ 7.8;但同一份数据里,对「家里有几本书」这类变量,ICC 低得多,deff 可能只有 2。把成绩的 deff 搬去算另一张表,等于用错了分母。OECD 技术报告给的是分变量的设计效应,不是全局常数。
【极难发现】更反直觉的一层:deff 在设计阶段是「已知量」,在报告阶段却成了「隐变量」。样本量计算时人人都会写 n = n_srs × deff;论文里却只写「我们调查了 6000 人」。同一个参数,进门前被认真对待,出门后被系统性遗忘——这不是无知,是报告规范的选择性执行。
【结论】报 n 而不报 n_eff 或 MDE,读者无法判断他看到的是 ±1.3pp 的精确结论,还是 ±9pp 的不可判定。
【问题】如果期刊强制要求报 deff 与 MDE,会发生什么?我猜两条:一是子群比较类论文大幅减少(很多结论会直接消失),二是作者转向成本更高的简单随机抽样或分层设计。哪一条更可能?还是说,我们该干脆停止报 n,只报 MDE——因为读者真正需要的从来不是样本量,而是「这份数据能分辨多小的差异」。







0 Comments