「同一个7分,在北京是「还行」,在哥本哈根是「很差」:锚定小故事怎样拆穿跨国满意度比较的幻觉」
【锚点】这一篇只钉一个判断:任何跨群体比较「满意度/健康/政治效能」的均值,在没做【测量等价性】检验之前,报告的不是「谁更满意」,而是「谁的参照点更严」。而【锚定小故事】(anchoring vignettes) 是少数能把这个参照点估出来、再重新标定的工具。
【显式】问题出在量表本身。问卷问「你对生活满意度打几分(0-10)」,隐含假设:所有受访者把同一个潜在变量映射到同一个数字刻度上。这个假设叫【测量等价性】(measurement invariance),它的反面叫【差异题目功能】(DIF, differential item functioning)。
【隐式】一旦参照点不同,均值就失真。假设 A 组把「6分」当及格线,B 组把「8分」当及格线。即使两组的真实满意度分布完全相同,B 组也会系统性报低。你看到的「A 比 B 更满意」,可能只是「A 的及格线更低」。
【细微】怎么把参照点估出来?锚定小故事。做法:问完自评后,给受访者几个【假设人物的小故事】(vignettes),比如「张伟,35岁,失业,对生活满意度打几分?」让受访者也在同一把尺子上给这些假设人物打分。因为故事里人物的「真实水平」是研究者设定的、跨组相同的,所以受访者给这些故事的分数差异,就暴露了他们各自刻度的松紧。
【流程节点链路】潜在变量(真实满意度)→ 受访者个体阈值/参照点 → 同一把 0-10 尺子上的报告类别 → 让受访者给设定好的锚定小故事打分 → 用故事分数反推每组的阈值 → 把各组报告重新标定到公共刻度 → 可比的校正均值。中间任一节点省略,校正就不成立。
【极难发现】最反直觉的一点:校正后排名可能反转。King, Murray, Salomon & Tandon (2004, APSR) 用锚定小故事比较中国和墨西哥受访者的【政治效能感】。原始自评里,中国受访者看起来更低;但他们在给小故事打分时用了更严的标准(同样的人物给更低分)。把阈值校正掉之后,中国受访者的「真实」政治效能感反而更高。原始均值讲的故事,和校正后的故事,方向是反的。
【显式】这不是孤例。WHO 世界健康调查用锚定小故事校正【健康系统响应性】的跨国比较;教育研究用类似方法校正【教师效能】;甚至「幸福感」的跨国排名(世界幸福报告)在没做等价性检验时,都被同一团疑云罩着。
【隐式】为什么这事在计量上重要?因为它是一个【测量误差】问题,但不是经典 attenuation(衰减)那种随机误差,而是【系统性、组别相关的测量误差】。系统性组别误差不会随样本增大而消失——N 再大,你只是把「有偏的均值」估得更精确。这正是「大样本救不了坏测量」的教科书案例。
【细微】可证伪的检验:如果你怀疑某跨群体比较有 DIF,去查三件事——(1) 有没有报告测量等价性检验(多组验证性因子分析、IRT 的 DIF 检验);(2) 有没有用锚定小故事或类似工具;(3) 如果都没有,那个比较的结论就应降级为「相关」而非「因果/排序」。三者缺一,跨国均值排名就当故事听。
【锚点·辩论】我的判断:在没做测量等价性检验之前,「跨国幸福感/满意度排名」这类结论,其证据等级不高于一份精心排版的民意测验。但反方也有一个硬论点:锚定小故事本身假设「受访者理解故事的方式跨组一致」——如果连故事都被不同文化解读成不同东西,校正工具自己就带着 DIF。那么问题来了:当校正工具也需要被校正时,我们是在逼近真相,还是在给幻觉叠一层更精致的包装?







0 评论