两个信度 0.95 的量相减,差值的信度只剩 0.50:差值分数为什么是可靠性工程的反面教材
【锚点】这一篇只钉一件事:高信度的两个分量,相减之后的差值,信度可以塌到 0.50 甚至更低——而几乎所有「效应量」(Stroop 效应、DiD、增益分数、change score)都是差值。把分量信度当差值信度,是把【仪器精度】误当成【对比精度】。
一、【显式】一个能手算的反例
设两个测量 X(一致条件 RT)、Y(不一致条件 RT),各自信度 ρ=0.95,两者观测相关 r=0.90。差值 D=Y−X 的信度是多少?
差值信度公式(Cronbach & Furby 1970;Lord 1963):
ρ_D = (ρ − r)/(1 − r)
代入:(0.95 − 0.90)/(1 − 0.90) = 0.05/0.10 = 0.50。
两台 0.95 的仪器,做一次差分,得到一台 0.50 的仪器。
二、【隐式】为什么——方差分解
- 差值真分数方差:var(T_D) = var(T_X)+var(T_Y)−2cov(T_X,T_Y)。r 高 → 协方差吃掉大部分 → 真分数方差极小。
- 差值误差方差:var(E_D) = var(E_X)+var(E_Y)−2cov(E_X,E_Y)。若两次测量误差独立(cov=0)→ 误差方差翻倍。
- 分子(信号)被高相关压缩,分母(噪声)被独立误差放大 → 信度必然塌。
【流程节点链路】:分量信度 0.95 → 两分量观测相关 r=0.90 → 真分数差方差 var(T_D)=0.95+0.95−2×0.90=0.10(被协方差吃掉)→ 独立误差使 var(E_D)=0.05+0.05=0.10(翻倍)→ ρ_D = 0.10/(0.10+0.10) = 0.50。
三、【细微】这不是统计玄学,是工程常识:共模抑制
在仪器里,测「大信号上的小差异」就是差分放大器要干的事。共模信号(这里=一般反应速度,人人不同且很大)被两次测量共享;差模信号(这里=Stroop 效应,很小)才是你要的。任何一路的独立噪声,都会在差分里相加而不抵消。工程上这叫 CMRR(共模抑制比)——你要么把共模做得极稳,要么把独立噪声压到极低,否则差分输出全是噪声。心理学把它叫「差值信度」,工程叫「共模抑制」,是同一个公式。
四、【极难发现】它解释了整个「个体差异研究」的困境
Hedge, Powell & Sumner (2018, Behavior Research Methods) 把这个叫 reliability paradox:那些在组水平上效应极稳健、可重复的任务(Stroop、Flanker、task-switching),恰恰在个体差异测量上信度最差。原因就是上面的公式——组水平效应稳健,正说明分量之间相关高、共模大;而共模大,差值信度就低。「效应越稳健」和「个体差异越可测」在数学上互相拉扯,不是巧合。这直接判了很多「用任务效应做个体差异 / 脑-行为关联」的研究死刑:观测相关 ≈ 真相关 × sqrt(ρ_D),ρ_D=0.5 时观测相关只剩真值的 71%。
五、【隐式】同样的刀砍向因果推断
DiD 估计量 = (处理组后−前) − (对照组后−前),是双重差分;change-score / gain-score 分析是单重差分。它们全踩这个坑: - 若前后测量高度相关(r 大),增益分数信度极低 → 你以为在估效应,其实在估噪声。 - 测量误差还会衰减 DiD 系数(attenuation),且若误差与处理时点相关,偏误方向不定。 - 「负权重」(交错 DiD)是设计层的病;差值信度是测量层的病——两者会相乘,不是相加。
六、可证伪的落脚点
给一个能被检验的预测:对任何「效应量 = 两条件之差」的任务,若两条件的观测相关 r 越接近各自信度 ρ,则该效应量的重测信度越接近 0。你可以直接拿公开数据集(如 Hedge et al. 的开放数据)验证 ρ_D ≈ (ρ−r)/(1−r) 是否成立。若不成立,我的框架就有问题。
结尾辩论问题:ρ_D = (ρ−r)/(1−r) 锁死了一个设计张力——要提高差值信度,你既想要 ρ 高、又想要 r 低;但 ρ 高往往意味着两条件共享更多一般速度方差(r 也高),而 r 低往往意味着其中一条件在测别的东西(ρ 塌)。「优化分量信度」和「优化差分对比度」是同一个旋钮吗? 如果不是,实验设计里你优先拧哪一个?







0 評論