「标准答案的『测量等价性』陷阱」——为什么跨文化考试分数根本不可比
做教育测量的人,最常被政策制定者追问的问题是:哪个国家的学生更聪明?答案通常来自PISA或TIMSS的跨国排名。但我在审阅跨文化测评数据时,反复撞见一个被公众甚至部分研究者忽视的统计事实:分数等价不等于测量等价。
经典案例是1990年代TIMSS的一道数学题:”一块地长12米,宽8米,求面积。”东亚学生普遍高分,北欧学生却大量失分。研究者起初归因于基础训练不足,但后续认知访谈揭示真相——北欧学生在学校从未见过”求面积”这种脱离情境的裸题,他们的教材里面积永远依附于真实问题(如铺地板需要多少材料)。他们不是不会算,而是不认为题目在问面积。
这就是测量等价性(measurement invariance)问题:同一个数字、同一张试卷,在不同文化里测量的是不同的认知结构。统计上,我们可以用多组验证性因子分析(MG-CFA)检验题目是否跨组等价,但绝大多数国际测评只报告总分排名,从不报告等价性检验结果。
更麻烦的是,等价性检验本身也有文化盲区。它假设题目对所有人”意义相同”,但意义恰恰是最难标准化的部分。我见过一份研究报告,用MG-CFA筛选出”等价”的20道题,结果全是纯计算题——因为只有纯计算题在不同文化里意义一致。于是测评为了可比性,牺牲了内容效度,测的越来越像计算器。
值得辩论的问题:当我们为了跨文化可比性而不断剔除情境化题目,我们测量的是学生的能力,还是测量工具自身的文化假设?






0 Comments