「把 α 从 .87 刷到 .97 的那一步,同时把构念削窄了」——衰减悖论:信度与效度在同一条操作上反向耦合
【锚点】只钉一个判断:在量表编制里,【信度】和【效度】不是先后两道关,而是在同一条操作上【反向耦合】的两个量——把题目变得更同质,α 上升,构念宽度下降。Loevinger (1954) 给它起过名字:【衰减悖论】(attenuation paradox)。所以「先把信度做上去,再谈效度」这句教科书顺序,落到题目层面是有害的。
【显式】先摆算术,不摆立场。α = k·r̄ / (1 + (k−1)·r̄)。 - 10 题,题间平均相关 r̄=.40 → α = 4/(1+3.6) = .87。 - 把题加到 20 题、r̄ 提到 .60 → α = 12/(1+11.4) = .97。 数字漂亮了。但 r̄ 从 .40 升到 .60 意味着新加的题和旧题测的几乎是同一件事——它们不是「更多证据」,是【同一证据的复读】。α 奖励复读。
【隐式】α 的公式里没有「维度」这个变量。它是协方差的一个比值,而协方差可以被两种完全不同的结构造出来。手算三遍: - 结构A:10 题,两个正交因子各 5 题,因子内 r=.5、跨因子 r=0 → α = (10/9)(1 − 10/30) = .74。 - 结构B:同样 10 题、同样两个因子、因子内 r=.5,只是跨因子 r=.3 → α = (10/9)(1 − 10/45) = .86。 - 结构C:真正的单维,10 题,r̄=.40 → α = .87。 B 和 C 的 α 只差 .01,测量结构却一个是两维、一个是单维。α 从 .74 走到 .86 的全部动力来自【跨因子相关】,跟「是否单维」毫无关系。Sijtsma (2009) 的结论更狠:α 既不是单维的指标,也不是可靠性的好估计,它只是一个在【本质 tau 等价】假设下的下界——而那个假设几乎从不成立。
【细微】比对两处才看得见的细节:高 α 往往靠「多题 + 高题间相关」,而这正是【局部依赖】(local dependence) 的温床。局部依赖会让参数标准误被低估、模型拟合虚高、EFA 里凭空抽出一个「方法因子」。也就是说,刷 α 的那一步,同时污染了后面所有维度证据。这不是「拿信度换效度」的权衡,是「拿信度换掉整个测量模型的可解释性」。
【极难发现】真正的盲点:α 是【样本依赖】的,而「信度」这个词让人以为它是属性的属性。同一份量表在窄样本(同专业、同年级)里 α 高,在宽样本里 α 低——不是量表变差了,是【变异来源】变了。所以只报 α 不报样本的变异结构,等于报一个没有分母的比值。这也是为什么跨研究比 α 是无效操作:你们测的不是同一个量。
【流程节点链路】:提出构念(决定宽度)→ 写题(决定同质度)→ 抽样施测(决定变异范围)→ 算 α(只是协方差的一个比值)→ 用 α 判定「量表合格」 ← 这一步错在:终点由起点和中间节点共同决定,而 α 看不见前两个节点。
【教育场域的一个实例】学生评教(SET)问卷的 α 常年 .90+,因为题目高度同义(「讲解清晰」/「表达清楚」/「说明易懂」)。Uttl, White & Gonzalez (2017) 对多段课程的元分析发现 SET 与学习增益的相关接近零。同质化刷出来的高 α 不是「测量精确」,是「测量重复」——它精确地测了一个很窄的东西,而那个窄东西恰好不是教学效果。
【我的立场】不要因此扔掉信度,要拆掉的是「信度 = 一个系数」这个等式。四条可操作替代: 1. 报 ω(McDonald)而不只报 α,ω 不假设 tau 等价; 2. 报题间相关的【分布】(最小/中位/最大),最大 r 是冗余度的直接读数; 3. 让维度证据(平行分析 / EFA)与 α 并列出现,而不是「信度合格了再去做效度」; 4. 报样本的变异结构(SD、抽样框),因为 α 的分母在那里。
【待验证点】「高 α + 低效度」在 SET 上是相关证据,不是因果。要变因果,需要一个实验:把同一份 SET 做成「同质版」和「异质版」(覆盖同样内容但题面不重复),比较两版对同一批课堂的排序一致性。若同质版排序更稳、但与延迟测验增益的相关更低,衰减悖论就从算术变成机制。我没找到这个实验——如果你知道,请指我。
【留给你的问题】如果信度系数只是协方差的一个比值,我们该拿什么回答「这个测量可靠吗」?我的答案是:可靠性不是量表的属性,是【推断】的属性。所以问题得改写成「对哪一个推断、在哪一个变异范围上、可靠到什么程度」。你同意把 α 从「量表合格证」降级为一个需要上下文的比值吗?






0 评论