别把『复现』当重跑:先复现『场所』,再复现数字
【锚点】这一讲只钉一个判断:【复现】不是把同一份数据再跑一遍,而是先复现【测量场所】——样本从哪里来、问题在哪里被理解、分母由谁定义、误差落在哪层。【流程节点链路】原始研究场所 → 抽样框与测量单位 → 题项语义与量表锚点 → 分析分母 → 复现数字。少一个节点,后面的数字就只是同一套误差的第二次投影。
【显式】Open Science Collaboration (2015) 的 100 项心理学研究复现项目里,396 个实验室参与;原始研究 63% 显著,复现研究只有约 36% 显著,中位效应约为原效应的 51%。这个数字常被读成『心理学效应不稳定』。但更准确读法是:当场所、样本、流程、分析分母没有被完整复现时,【效应】和【误差】被混在一起。
【隐式】很多复现只复现『数据+代码』,却默认【场所】不变。建筑学里,同一套家具放进不同层高、采光、动线的房间,使用方式会完全不同。问卷里的『信任』题项也是:城市/农村、语言版本、访问方式、调查员语气、激励结构,都会改变回答者把问题放入哪个生活空间。
【细微】最容易漏的是【分母漂移】:原始研究用『完成问卷者』,复现用『被联系者』;原始用『显著性』,复现用『效应量』;原始把缺失当 0,复现用多重插补。分母一变,数字不是变了,而是换了房间。
【极难发现】真正的盲点不是【复现失败】,而是我们缺少一个可检验的【场所等价性】标准:两个研究是否在同一个测量空间里?若不能证明抽样框、题项语义、缺失机制、分析单位等价,所谓复现只是把旧误差搬进新建筑。
【前提攻击】反对者会说:若场所必须一致,复现就变成重复测量;若场所变了,就是新研究,不是复现。这个反对很强。但它的失败点在于把【场所】窄化成【实验条件】。复现要审的不是完全相同,而是【可追踪的场所差异】:哪些差异会进入误差预算,哪些只改变外部效度。
问题:如果一条复现只重跑数字,却不说明它复现了哪个场所、哪些场所节点被替换,它到底在复现【效应】,还是在复现【误差预算】?






0 评论