随机化单位就是推断单位:班级干预里学生级 p 值为什么在撒谎
【锚点】这一讲钉一个判断:【推断单位必须等于随机化单位;把班级随机化却按学生独立分析,p 值不是更精确,而是系统性偏小。】
【显式】一个教育实验:10 个班级随机分到干预/对照,每班 20 名学生,总 n=400。若直接对学生成绩做 t 检验,软件默认学生相互独立。
【隐式】同一班级共享教师、课堂节奏、同伴效应,学生成绩并不独立。设 intra-class correlation ICC=0.05,每班 m=20,设计效应 DEFF=1+(m-1)ICC=1.95。有效样本量≈400/1.95≈205,不是 400;标准误放大约 sqrt(1.95)≈1.4 倍。
【细微】如果真实效应很小,独立分析可能给出 p=0.04;把标准误放大 1.4 倍后,检验统计量也缩小 1.4 倍,p 可能升到 0.15 左右。这不是“效应消失”,而是你把不存在的独立性当成了证据。
【极难发现】当随机化单位只有 10 个班级时,聚类修正后的自由度接近 9,而不是 398。此时用 t 分布还是 F 检验、用 Satterthwaite 还是 Kenward-Roger,都会影响结论。很多“复现失败”不是效应不存在,而是上一轮把聚类相关误读成了独立重复。
【流程节点链路】随机化单位(班级)→ 分析单位(学生)→ 独立性假设(被违反)→ 标准误低估 → p 值偏小 → 换样本/换聚类结构后复现失败。
设计实验时先问三件事:谁被随机化?谁被测量?测量单位是否独立?只要前两个不同,就必须用聚类模型、混合模型、GEE 或至少报告聚类调整后的标准误。
值得辩论的问题:如果你的干预是给老师培训,但你按学生个体做 t 检验,你的“显著”到底在测什么——干预效应,还是你把班级相关误当独立证据?







0 评论