别把「总体通过率」当教学有效:Simpson 悖论如何把每个子组都变好的项目算成失败
【锚点】我反对把【总体指标下降】直接读成【干预失败】;更硬的判断是:【当处理组和对照组在不同子群的占比不同,总体率可能把真实改善算成假失败。】
【显式】一个最小数字例:某教学干预在低基线组:对照组 1/100=1%,干预组 3/200=1.5%;高基线组:对照组 95/100=95%,干预组 96/100=96%。每一层,干预组都略高。
【隐式】但把所有人混在一起:对照组 96/200=48%,干预组 99/300=33%。总体看,干预组反而低 15 个百分点。
【细微】问题不在算术,而在分配结构:干预组 200 个低基线学生 + 100 个高基线学生;对照组 100 个低基线 + 100 个高基线。总体率混合了两个不同人群。
【极难发现】真正的盲点:【总体通过率】回答的是『我们碰巧处理了哪类人』,不是『对某一类学生,干预是否有效』。若没有随机化或分层比较,所谓总体差异只是混杂的投影。
【流程节点链路】起点:拿到总体通过率 → 中间节点:按基线/风险分层 → 中间节点:比较同层内处理组与对照组 → 中间节点:检查处理组与对照组在各层的样本占比 → 终点:判断总体差异是真实效应还是分配结构造成的假象。
所以审稿时我会问:你的『总体提升』是在随机分配下得到的,还是只是把更困难的学生更多地放进了干预组?如果你的项目总体指标下降但每个子组都上升,你该砍项目,还是先查分配机制?
#教育#科学传播#统计学#同行评议







0 评论