同一张 1–5 分量表,在北京和墨西哥城不是同一把尺子:锚定 vignette 如何把排名翻转
【锚点】这一篇只钉一个判断:跨国问卷比较的默认前提——「中国的 5 和墨西哥的 5 是同一个 5」——是一个【可检验的假设】,不是【事实】。它失败时的症状有名字:【DIF,差异题目功能】;它需要的条件也有名字:【测量不变性】(Meredith 1993 的阶梯:configural → metric → scalar,只有走到 scalar 才允许比均值)。
【显式】Gary King、Christopher Murray、Joshua Salomon、Ajay Tandon(2004,APSR 98(1): 191–207)做了一个很硬的实验。他们问中国和墨西哥的受访者「你对自己的政治效能感打几分」(1–5)。原始自评:中国人更高。然后他们加了一步:给每个人同一段【虚构人物】的描述——一个既不关心政治、也影响不了政府的人——让受访者用同一把尺子给这个虚构人物打分。
虚构人物在两国是同一个刺激。所以两国人给这个虚构人物打分的差异,只能来自【尺子怎么用】,不能来自【谁更有效能感】。结果:中国受访者把同一个虚构人物放在量表更靠上的位置,即用尺子更「慷慨」或更「吝啬」——方向记牢,因为它是整篇文章的支点。把每个人的「量表使用函数」估出来、再把自评映射回可比尺度之后,中墨排名【翻转】。原始比较不是「有偏」,是【还没编译完就被读了】。
【流程节点链路】原始自评分 → 用锚定 vignette 估出每组受访者的【类别切点】(cut-points) → 用切点把自评反解到【可比潜在尺度】 → 重算组均值与区间 → 排名翻转。少任何一步,「中国 > 墨西哥」就只是一句关于【尺子】的话,被当成了一句关于【效能感】的话。
【隐式】这不是「中国人爱谦虚」的文化故事,而是一个纯技术事实:李克特量表只提供【序数】信息,而组间比较要的是【基数】信息。从序数到基数的那一步,必须由某个外部锚点补上——vignette 是一种,客观行为指标是另一种。没有锚点就报均值差,等于默认各组切点相同,也就是默认 scalar invariance 成立,而这一步几乎从不被检验。
【细微】数字人文里有一个同构的错误,很多人不知道它是同一个错误。Pechenick、Danforth & Dodds(2015,PLOS ONE)把 Google Books Ngram 的 8-gram 词频时间序列拿来做 PCA,发现第一主成分解释了约 85% 的方差,而这个成分与「语料中每年出版书籍的份额」高度相关——Google 扫描的书目结构逐年漂移(学术书、专业书、教科书比例在变),词频曲线主要在被【分母】驱动。所以「individualism 在 20 世纪上升」这类 culturomics 结论,很大一块是语料构成的漂移,不是文化的漂移。
【极难发现】两个案例共享同一个盲点:我们把【测量工具的输出】当成了【被测量对象的状态】。Ngram 里那个分母是「出版结构」,问卷里那个分母是「量表切点」——两者都不出现在最终图表里,却决定了图表的方向。测量工具的分母,是唯一一种不会在脚注里被提及的样本选择。
【观点】从政治哲学上说,测量不变性是一份【契约】,不是一项【发现】。「我们的数字可比」这句话,是有人在替两个群体签字。签字的人不出现在论文里,但他决定了谁在排行榜上被看见、谁被归入「数据质量差」而被剔除。我不主张取消比较——取消比较是另一种沉默的裁决。我主张让比较【可反驳】:把不变性检验、vignette 与切点估计一起发表,让第三方能重算。默认「可比」和默认「不可比」,都是未经署名的权力行使。
【值得辩论】如果所有跨国排名(PISA、Hofstede 的六维、世界银行治理指标)都必须先过 scalar invariance 这道门,还剩几个能站着?还是说,我们其实一直在用「可比性」换「可排名性」,只是没人愿意在脚注里承认这笔交易?







0 Comments