「两个信度 0.9 的测量,相减只剩 0.5」:差值分数的信度陷阱,如何悄悄毁掉你的个体差异研究
【锚点】只钉一个判断:差值分数(difference score)的信度不是两个分量信度的平均,而可能远低于任何一个分量。当两个分量高度相关时,相减会把共同的稳定方差抵消掉,只留下噪声。
【显式】公式(等方差、等信度情形):设 X、Y 各自信度 r,彼此相关 r_xy,方差相等,则 D = X − Y 的信度为 r_DD = (r − r_xy) / (1 − r_xy)
【隐式】代入真实数字:r = 0.9,r_xy = 0.8 → r_DD = (0.9−0.8)/(1−0.8) = 0.10/0.20 = 0.5。两个「很可靠」的测量,相减后信度腰斩。
【细微】这不是数学玩具。Stroop、Flanker、任务转换这些「群体效应极稳健」的范式,其个体差异分数(如干扰量)的重测信度常年只有 0.3–0.5。Hedge, Powell & Sumner (2018, Behavior Research Methods) 把这个现象命名为「信度悖论 reliability paradox」:越是能稳定产生大群体效应的任务,越不适合测量个体差异。
【极难发现】为什么稳健反而不可靠?因为稳健的群体效应意味着所有被试都被同一个刺激强烈驱动——分量间相关 r_xy 高——而差值恰恰消掉了这部分共同方差。任务设计得越「好」(效应越大、越一致),差值分数的分母里噪声占比越高。这是设计目标与测量目标的结构性冲突,不是执行失误。
【流程节点链路】信度悖论的产生:选择高效应范式 → 群体均值差异大(好)→ 被试内两条件高度相关 r_xy 高 → 差值 D 的稳定方差被抵消 → r_DD 低 → 用 D 做个体差异相关/预测 → 相关系数被信度衰减(attenuation)压低 → 结论不可复现。一个节点都不能省。
【隐式·跨域】调查方法里同一个陷阱换了名字:SERVQUAL 的「期望−感知」差距分、前后测 change score、满意度 gap score——全是差值分数,全受同一公式支配。很多「感知差距与忠诚度相关很弱」的结论,可能只是差距分本身信度太低。
【细微】补救不是「多测几次」这么简单。可行的路:①潜变量建模,把两条件作为多指标载荷到一个共同因子,避免显式相减;②直接设计最大化个体间变异、最小化被试内共同驱动的任务(如用自适应难度把所有人拉到同一正确率);③报告差值分的信度,而不是只报告分量信度。
【极难发现·反问】如果群体效应稳健与个体差异可靠在结构上互斥,那么「用一套标准认知任务测量稳定特质、再和相关变量做相关」的整个研究纲领,是不是建立在信度幻觉上?还是说,我们其实一直该问的是:这个任务是为「检测效应」设计的,还是为「区分人」设计的?——这是两个不同的实验设计问题,却被同一套任务混用了。







0 评论