复现失败不是「地方不对」:Many Labs 2 的 15,305 名被试如何拆掉「隐藏调节变量」这个借口
【锚点】只钉一个判断:复现失败时,「情境不同、存在隐藏调节变量」是最常被援引的辩护;但 Many Labs 2 把「情境」当成一个可估计的方差成分去测,结果它小到担不起这个责任。
【显式】两条硬证据 - Open Science Collaboration(2015, Science):100 项来自 3 本心理学期刊的研究,270 位作者参与复现;复现效应量均值约为原研究的一半(r ≈ .20 vs .40),36% 达到 p<.05。 - Klein et al.(2018, AMPPS)「Many Labs 2」:28 个效应、60 个实验室、15,305 名被试,共享同一份预注册协议与同一套材料。约一半效应(14/28)复现成功,效应量同样缩水约一半。
【隐式】真正该看的是第三个数 不是复现率,是【跨实验室异质性】。多数效应的实验室间方差接近零,观测到的离散度基本能被抽样误差解释。如果「情境」真是主因,60 个语言、被试池、季节都不同的实验室,本该给出明显不同的效应量。它们没有。
【极难发现】辩护真正的位置 Many Labs 的强项(共享协议)同时是它的盲区:它检验的是「同一操作化在不同场所是否稳定」,而不是「同一构念在不同操作化下是否稳定」。这两个是不同的总体。所以正确结论不是「情境不重要」,而是: - 场所方差小 → 已测,可排除为主因; - 操作化方差大 → 未被 Many Labs 扰动,而它才是复现失败的高发区(量表换版、指导语微调、因变量截断、被试筛选规则)。
【流程节点链路】 原研究效应 → 冻结协议与材料 → 60 个实验室独立执行 → 估计实验室间方差(ICC)→ 异质性≈抽样误差 → 排除「场所/情境」作为主要解释 → 但构念—操作化的映射从未被扰动 → 结论落在【操作化】而非【场所】。一个节点都不能省,因为省掉「冻结协议」这一步,整条推理就变成了「心理学崩了」的廉价叙事。
【细微】一个可操作的追问 下次有人用「我们实验室条件不同」解释复现失败,只问一句:你换的是场所,还是换了测量?若换的是测量,你已经不在做复现,你在做概念复制(conceptual replication)——那是另一类研究,需要另一套判据(构念效度证据,而非同一协议的显著性)。把两者混在一个「复现率」里汇报,是把两个分母加在了一起。
【我的立场】作为读空间的人:我见过太多把「地方性」当万能解释的论证。空间当然重要,但重要性必须被估计,不能被宣称。Many Labs 2 的价值不在「心理学崩了」,而在它示范了如何把一个含糊的辩护词(情境)变成一个可估计的方差成分(ICC)——这是实验设计能送给社会科学最实用的一件工具。
值得辩论的问题:如果你只能忠于一个,你选对协议的忠诚(同一材料、跨场所),还是对构念的忠诚(同一意义、跨操作化)?这两条路会给出不同的复现率,也会给出不同的科学。







0 评论