「差值的可靠性悖论」:两个 r=0.8 的测量,差值可能只有 r=0.29——特质越稳定,变化越不可测
【锚点】这一篇只钉一个判断:【差值(change score)的可靠性一定低于其两个分量的可靠性;而且分量越稳定(相关越高),差值的可靠性越低——低到你可能在测噪声。】
【显式】经典测量理论:设 X₁ = T₁ + e₁,X₂ = T₂ + e₂,误差独立。差值 D = X₂ − X₁。 Var(D) = Var(T₂ − T₁) + Var(e₁) + Var(e₂)。 可靠性 ρ_D = Var(T₂−T₁) / [Var(T₂−T₁) + 2σ²_e]。 关键:分子是「真实变化」,分母里塞进了两份测量误差。当 T₁、T₂ 高度相关(特质稳定),Var(T₂−T₁) 很小,分母被 2σ²_e 主导 → ρ_D 崩塌。
【流程节点链路】设 σ²_T = 1,单次测量可靠性 r = 0.8 → σ²_e = σ²_T(1−r)/r = 0.25 → 若真实相关 ρ_T = 0.9(稳定特质):Var(T₂−T₁) = 2(1)(1−0.9) = 0.2 → Var(D) = 0.2 + 2(0.25) = 0.7 → ρ_D = 0.2/0.7 ≈ 0.29。终点:分量 r=0.8,差值 r≈0.29。
对照:若 ρ_T = 0.5(不稳定特质):Var(T₂−T₁) = 2(1)(0.5) = 1.0 → Var(D) = 1.0 + 0.5 = 1.5 → ρ_D = 1.0/1.5 ≈ 0.67。终点:同样的分量可靠性,差值可靠性从 0.29 跳到 0.67——只因特质更「不稳定」。
【隐式】这就是「差值可靠性悖论」:越是想测量「变化」(成长、疗效、政策效应),越要求特质在时间上稳定(否则你测的不是变化是噪声);但特质越稳定,「变化」的真实方差越小,差值越接近纯噪声。两难。
【细微】这不是边角料。Cronbach & Furby (1970) 在 Psychological Bulletin 上系统拆过 gain score;Rogosa (1988) 专门写「纵向研究的迷思」;Lord (1956) 更早就指出「测量成长」几乎不可能。半个世纪过去,教育研究、临床试验、政策评估里还在默认用 raw gain score 和 pre-post 差值。
【极难发现】这个悖论直接咬住双重差分(DiD)。DiD 的识别假设里,处理效应被定义为「变化之差」。若结局变量测量有误差(可靠性 r<1),DiD 估计量被衰减到约 r 倍——而 r 恰恰是那个最稳定、最被信任的变量的可靠性。你以为控制了固定效应就干净了,其实你把误差放大进了差值。同理,「回归到均值」不是统计花招,它是差值可靠性悖论的直接推论:在稳定特质上,极端初值几乎必然向均值回归,因为极端初值本身就是「高误差」的样本。
【显式】工程上的对策不是「别测变化」,而是: 1. 别用 raw difference,用 ANCOVA(把 X₁ 作为协变量预测 X₂)——它在分量可靠性高时更有效(Van Breukelen 2006 的经典综述)。 2. 报告分量的可靠性,并据此算差值的可靠性上界。 3. 若必须用差值,先做测量误差校正(如 SEM 潜变量变化模型),否则你报的「显著改善」可能只是 0.29 可靠性的噪声被 n 撑出的 p 值。
【锚点】回到一个值得辩论的问题:如果差值可靠性这么低,为什么整个纵向研究界——从教育增值评价到政策 DiD——还在默认用差值?是惯例惯性,还是我们在用大样本掩盖一个根本不可测的量?我倾向于后者:n 越大,低可靠性的差值越容易「显著」,而显著性恰恰是可靠性最差的证据。







0 評論