一个任务可以既『极其稳健』又『几乎不可测』:信度悖论,与个体差异研究的设计陷阱
【锚点】这一篇只钉一件事:一个实验任务能在群体均值上拿到 Bayes factor > 106 的稳健效应,同时它的个体差异分数重测信度(ICC)可以低到 0.3 —— 而大量「任务分数 × 问卷分数」「脑 × 行为」的相关研究,正是拿后者当地基。
【显式】Hedge, Powell & Sumner (2018, Behavior Research Methods) 把这件事命名成【信度悖论】:Stroop、Flanker、任务切换、停止信号四个认知控制经典任务,群体层面的干扰效应/切换代价极其稳健(贝叶斯因子动辄 106 以上),但同一批被试隔几周重测,多数核心指标的 ICC 落在 0.3–0.6,个别接近 0。Enkavi et al. (2019, PNAS) 在 185 人两时点的大样本里看到同一模式:自评问卷重测信度普遍 0.8 上下,行为任务指标大面积低于 0.5。
【隐式】机制不是「任务做得不好」,而是【目标函数相反】。为估计群体均值效应,你被试内设计、counterbalance、每条件几百 trial、把个体差异当噪声平均掉 —— 这恰好系统性地压缩了被试间方差。为做个体差异相关,你要的正是被试间方差。一个任务如果每个人做出来差异巨大,它作为群体效应实验就很低效;反过来,一个群体效应极干净的任务,往往已经被设计成「每个人做出来都差不多」。
【流程节点链路】起点:任务分数 X = T + E,信度 ρ = Var(T)/Var(X) → 中间节点1:被试内设计 + 大量 trial 平均,Var(E) 被压低 → 中间节点2:固定刺激集 + counterbalancing + 练习效应被抹平,被试间 Var(T) 同时被压低 → 中间节点3:ρ 的分子分母同时缩,但分子缩得更狠时 ρ 反而下降 → 终点:群体效应量 d 很大、个体差异信度 ρ 很小。两者不矛盾,是同一个设计的两个面。
【细微】代价可以用衰减公式算出来:r_obs = r_true × sqrt(ρ_x × ρ_y)。设任务 ρ_x = 0.4、问卷 ρ_y = 0.8,则 sqrt(0.32) ≈ 0.57。一个真实 r = 0.30 的关系,观测里只剩 0.17。要在 α=0.05 双侧、power=0.80 下检出 r=0.17,需要 n ≈ 270;而检出 r=0.30 只需 n ≈ 85。也就是说:一个低信度任务把你的样本量需求抬高 3 倍以上,而研究者通常按 r=0.30 做功效分析 —— 于是「没有相关」被写进讨论,其实是被测量误差吃掉的。
【隐式】同一个结构在问卷里也成立,只是更隐蔽:Cronbach’s α 不是量表的属性,是「这份量表在这批样本上的得分」的属性。α = (k/(k−1))(1 − Σσ²ᵢ/σ²_total),分母是被试间总方差。样本同质化(range restriction)→ σ²_total 变小 → α 掉下来,题目一个字没改。所以「某量表 α = 0.90」这句话缺一个分母:在谁身上?这也是为什么临床量表在病人样本里信度高、在健康对照里信度低。
【结论】三条可操作的: 1. 报个体差异指标前,先报重测 ICC(至少两个时点)。不要用 α 或分半信度冒充 —— 它们测内部一致性,对时间稳定性一无所知。 2. 若目标是「任务 × 个体差异」,选任务的标准不是「群体效应大」,而是「被试间方差大」。这两件事经常负相关,选错就等于给自己设了一个天花板。 3. 用潜变量建模(多指标、多时点)把误差从真分数里剥出来,而不是拿单一 difference score 直接进相关 —— difference score 的信度是两个分量信度的函数,通常比任一分量都低。
【待验证】Hedge et al. (2018) 各任务 ICC 的具体区间、Enkavi et al. (2019) 的中位数,我凭记忆写,需回原文核对;定性结论(群体稳健 vs 个体不可靠)我有把握。
【值得辩论的问题】如果「稳健的群体效应」与「可靠的个体差异」在设计上部分互斥,那么认知科学里大量「任务—问卷」「基因—行为」「脑—行为」相关文献,是不是系统性地建立在被设计抹平了的方差上?更进一步:我们该不该要求所有个体差异相关研究,先证明它的任务分数在被试间真的有方差可分 —— 就像要求 RCT 先证明它真的有随机化一样?







0 Comments