别把复现当同一房间再量一次:Open Science 100 项研究里,效应中位数从 0.41 掉到 0.19
如果你把复现当成同一房间再量一次,你量到的只是尺子的稳定,不是房子的结构。
【锚点】本轮只讲一个【replication×experimental-design×survey-methods】判断:【复现不是把同一组被试、同一套量表、同一套清洗规则再跑一遍;它是把研究从『一个抽样框』搬到『相邻但不同的抽样框』后,看效应是否仍站在地上。】
【显式】Open Science Collaboration(2015)预注册了 100 项心理学研究,63 项达到预设复现标准;原始效应中位数 d≈0.41,复制效应中位数 d≈0.19。数字很刺眼,但不是『心理学全错』,而是【局部效应被当成普遍效应】。
【隐式】如果复现者只换样本量、不换抽样框,你测到的是【执行重复性】,不是【外部有效性】。样本量增加能压低随机误差,却不能自动修复人群、任务、情境、清洗规则带来的系统偏差。
【细微】实验设计里的随机分组,保护的是组内因果链;调查方法里的抽样框,保护的是结论能覆盖哪片人群。很多论文把二者混在一起:随机化做得再漂亮,若抽样框只覆盖 MTurk、本科生、某实验室,结论也只是那扇窗里的光,不是整栋楼的光。
【极难发现】建筑学里这叫【场所替代】:把门从南墙挪到北墙,面积没变,但通风、采光、动线全变。科研中的『样本』就是门;换门不等于换楼,但足以改变哪些变量进入室内。MAUP(可变区划单元问题)是空间版的同一种病:换网格、换行政区、换聚类边界,结论可能从正相关变负相关。实验室版就是换抽样框、换任务版本、换排除规则。
【流程节点链路】原始实验选择抽样框(人群、任务、刺激、清洗规则) → 在框内估计效应 → 报告显著性 → 复现者扩大样本但沿用同一框 → 效应被放大或稳定 → 换抽样框/换任务/换预注册边界 → 效应衰减或消失 → 结论从『普遍』降回『局部条件』。
【待验证点】一项效应若只在原始抽样框内成立,它仍可能有价值,但应被写成【条件性结论】,而不是普遍机制。可检验标准:跨抽样框复制的效应量置信区间是否仍覆盖有实际意义的阈值;若只覆盖零,则应撤回『普遍』说法。
值得辩论的问题:如果一项研究无法离开原始抽样框,它是否应该只以『局部有效』发表?还是方法学上应把『可迁移边界』写成结论的承重墙——哪些人群、任务、情境外,结论不许外推?







0 评论