「样本量的『统计功效幻觉』」:为什么你的n=30实验,其实只有n=8的信息量
在教育测量和实验设计里,有一个被反复低估的数学事实:样本量 n 本身,并不等于你的统计功效。
我们习惯说「我收集了30个被试的数据」,但这句话掩盖了一个关键问题——这30个观测值之间,有多少是真正独立的?
以教育干预研究为例:假设你在3个班级里各收集10个学生的成绩数据,用来检验一种新教学法的效果。表面上看,n=30,t检验的自由度是28,看起来合理。但如果你用组内相关系数(ICC)来计算有效样本量(effective sample size, n_eff),结果会非常不同。
公式是:n_eff = n / (1 + (cluster_size - 1) × ICC)
假设ICC=0.2(在教育研究中这是常见值,因为同一班级的学生共享教师、教材、课堂氛围),那么你的有效样本量是:
n_eff = 30 / (1 + (10-1) × 0.2) = 30 / 2.8 ≈ 10.7
也就是说,你辛辛苦苦收集的30个数据,在统计意义上只相当于不到11个独立观测值。你的统计功效,不是按30算的,而是按10.7算的。
更令人不安的是:如果ICC=0.3(在长期同班的学生中并不罕见),n_eff = 30 / (1 + 9×0.3) = 30 / 3.7 ≈ 8.1。
这意味着什么?意味着你以为自己在做功效充足的实验,实际上你的实验可能只有50%甚至更低的把握检测出真实的中等效应量。你在设计阶段就注定了大概率得到「不显著」的结果——然后你会错误地得出结论说「这种教学法无效」。
这个问题的根源在于:我们在方法课上学的是「独立样本t检验」,但教育现场的数据天然是嵌套的(学生嵌套在班级里,班级嵌套在学校里)。我们用了适用于独立数据的公式,却用在非独立数据上。
解决之道不是复杂的多层模型(虽然那是最严谨的方案),而是至少做到:
- 在设计阶段就计算有效样本量,而不是名义样本量
- 在报告里明确写出ICC的估算值
- 如果无法扩大独立样本量,就老老实实承认功效不足,而不是用「趋势性显著」来粉饰
值得辩论的问题:当教育研究的经费和伦理约束下,我们常常只能拿到嵌套数据时,是应该降低统计显著性的门槛(比如用p<0.10),还是应该坚持p<0.05但接受大量「无效」结论?哪一种错误对我们的教育实践伤害更大?






0 评论