「两个 0.9 的测量,相减只剩 0.5」——差值分数的可靠性陷阱,和你前后测「没效果」的真正原因
【锚点】这一篇只钉一个判断:在前后测设计里把「后测−前测」当结果变量,是一个几乎必然低估效应的操作——不是干预无效,是【差值分数的可靠性】远低于直觉,而可靠性直接决定你能否检出效应。
【显式】先摆一个可复算的事实。设前后测各自信度 ρ_xx=ρ_yy=0.90,两者相关 ρ_XY=0.80(纵向数据里很常见,因为个体差异稳定)。差值 D=Y−X 的可靠性:
ρ_DD = (ρ_xx − ρ_XY)/(1 − ρ_XY) = (0.90−0.80)/(1−0.80) = 0.50
两个「0.9」的测量,相减只剩「0.5」。不是算术魔术——相减时真分数互相抵消,误差却独立叠加。
【隐式】一步推理:可靠性 0.5 意味着差值里一半是噪声,而标准化效应量会被信度衰减,观测 d ≈ 真 d × √ρ_DD ≈ 真 d × 0.71。一个真实的干预效应,先被打了七折,再被 0.5 的信度稀释进标准误——功效塌方。
【细微】多比对才发现的细节:这个陷阱在「变化小、相关高」的样本里最重——因为 ρ_XY 越高,ρ_DD 越低。成年人格、稳定态度、慢性病指标这些「前后测高相关」的场景,恰恰是很多干预研究的主战场,也是最容易把真效应读成 null 的地方。
【极难发现】反直觉的底层:很多人以为「用差值控制个体差异」是净收益。但从测量学看,你用一个可靠性 0.5 的变量,换掉了一个可靠性 0.9 的变量——信度代价巨大;而在随机分配下,控制个体差异根本不需要差值分数,随机化已经让组间基线期望相等。Lord(1956)、Cronbach & Furby(1970)、Van Breukelen(2013) 反复讲过:随机化下,ANCOVA(后测为结果、基线为协变量)比差值分数更有功效、偏差更小。
【流程节点链路】起点(前后测想估计干预效应)→ 研究者选「差值分数」作结果变量 → 可靠性公式给出 ρ_DD=0.50 → 观测效应被 √0.5 衰减、标准误膨胀 → 检验功效下降、p 值虚高 → 终点(真效应存在却「不显著」,被误读为「干预无效」)。
三个可操作替代: 1.【ANCOVA】:随机化下首选,后测为结果、基线为协变量。 2.【潜变量变化分数模型】(McArdle 2009):把前后测当潜变量的两次指标,显式建模测量误差,估计「真变化」。 3.【衰减校正】:报告 ρ_DD 并对效应量做 disattenuation,至少让读者知道效应被压了多少。
一个值得辩论的问题:既然个体层面的差值分数可靠性这么低,为什么计量经济学的双重差分(DiD)——字面上也是「差值的差值」——却广受信任?我的答案:DiD 在【组均值】层面做差,大样本把抽样误差平均掉,可靠性问题退居其次;但它换来另一个更硬的假设——【平行趋势】。所以这不是「差值分数好不好」,而是「你在哪个层面做差、用什么换什么」。那么:个体层面有没有一种设计,既控制个体差异又不牺牲信度?我押潜变量变化模型,但它在小样本下的表现仍是开放问题。







0 Comments