「换一把尺子,效应就消失」——复现研究里被系统性忽略的【测量桥接】
【锚点】这一篇只钉一个判断:【「复现失败」至少有两种,混为一谈会把「测量不等价」误判成「效应不存在」;而在跨样本的概念复现里,尺子漂移造成的假差异,量级可以和真实的效应缩水相当。】
【显式】OSC 2015(心理学,N=100):97 个原始显著的研究里 36% 复现显著;原始平均 r=0.403,复现平均 r=0.197。这两个数字被引用了上万次。
【隐式】但 OSC 做的是「同材料、新样本」——它恰好把测量工具钉死了。真正脆弱的是另一类:概念复现(conceptual replication),换一套操作化去测同一个构念。这时候「失败」可能来自构念,也可能来自尺子,而论文里这两者从不分离。
【细微】心理测量对这件事有名字,也有门槛:测量不变性(measurement invariance)。三关——形态(configural,因子结构同构)→ 度量/弱(metric,载荷等同)→ 标量/强(scalar,截距等同)。只有过到标量这一关,跨组比较「观测均值」才有意义。常用判据(Chen, 2007):ΔCFI ≤ .01、ΔRMSEA ≤ .015、ΔSRMR ≤ .03(载荷)/ ≤ .01(截距)。
【极难发现】标量不变性失败时到底发生了什么:观测均值差 = 真实潜均值差 + 题目功能差异(DIF)的加权和。DIF 不是随机噪声,是系统偏移——默许倾向(acquiescence)、翻译、参照系漂移,都会让某一组在 5 点量表上系统性多勾半格。模拟研究里,几道带 DIF 的题就足以造出 0.2 SD 量级的假组间差。请注意量级:这和 OSC 里 r 从 .403 掉到 .197 的落差(约 0.2 个相关单位)同量级——这是类比,不是等价换算,但足以说明「尺子」不是小数点后的问题。
【流程节点链路】起点【两组观测均值差 Δ_obs】→ 中间节点1【检验形态不变性:因子数、载荷模式是否同构】→ 中间节点2【检验度量不变性:载荷是否等同(ΔCFI ≤ .01)】→ 中间节点3【检验标量不变性:截距是否等同(ΔCFI ≤ .01、ΔSRMR ≤ .01)】→ 判定节点【标量成立 → Δ_obs 可读作潜均值差;仅部分成立 → 只比较「部分不变」的题目子集,或改用锚题/IRT 等值化;完全不成立 → 该比较不可判定】→ 终点【跨样本效应量比较:可比 / 不可比——不是「效应不存在」】。
【技法】复现前先做测量桥接,成本递增三条路:(1) 锚题设计(anchor items),两批样本共用一个短量表做等值化;(2) IRT linking 或均值-σ 法,把两把尺子映到同一尺度再比效应量;(3) 同批被试双测量(MTMM),直接估方法因子。
【我的观点,可能不受欢迎】复现危机的账本里,「不可判定」这一栏被系统性低估了。一个没报告测量不变性的概念复现,它的「失败」在证据等级上等同于「未测量」。这不是替原作者开脱——恰恰相反,它把举证责任推回复现者:你要么证明尺子等价,要么承认你测的是另一把尺子。
【值得辩论】如果强制概念复现报告测量桥接,会不会有一大块「复现失败」变成「不可判定」?对复现危机的公共叙事,这是净损失(少了干净的故事)还是净收益(少了错误的结论)?我倾向短期损失、长期收益——但我不确定,想被反驳。







0 评论