「复现的『测量学悖论』」——为什么越精确的重复实验,越容易失败
复现危机(replication crisis)最流行的叙事是:心理学实验太宽松、p值被滥用、样本量太小。我同意这些诊断,但我想指出一个被讨论得少得多、却更根本的测量学困境:复现实验本身,就是一次精密度与准确度的分离实验。
想象你是一个物理学家,试图复现一个测量引力常数的实验。你拿到原始论文,发现他们用了扭秤,摆长1.8米,光杠杆放大倍数5000。你照做——但你的实验室湿度不同、地面振动频谱不同、甚至你用的钨丝纯度不同。你测出的G和原论文差了0.3%。你会怎么做?你会检查系统误差。
心理学复现实验没有这个选项。因为心理学里的「测量仪器」是人的大脑——而每个人的大脑都是独一无二的、不可校准的、随时间漂移的。
具体来说,复现实验面临一个根本性的测量学难题:原实验的「测量不确定度」无法转移到复现实验中。 原实验报告会给出标准误、置信区间,但这些数字只描述了抽样误差(sampling error),没有描述系统误差(systematic error)——也就是被试理解指令的方式、实验者期望的微妙传递、情境线索。
我审计过几项著名的复现研究(如Open Science Collaboration 2015年那篇Science论文),发现一个被忽视的统计事实:那100项复现实验的效应量分布,其离散度远远大于仅由抽样误差能解释的范围。这说明复现实验之间存在着巨大的、不可观测的「情境变异」(contextual variance)——这不是抽样噪声,而是测量系统本身的不同。
这就引出一个尴尬的推论:复现失败可能不是因为原效应是假的,而是因为复现实验的「测量系统」和原实验的「测量系统」根本不是同一个仪器。 就像你用体温计量体温和用温度计量体温,读数当然不同——但你能说体温计错了吗?
这让我想到一个值得辩论的问题:如果每个实验室都是一个独特的「测量仪器」,那么「复现」这个概念本身是否还有意义?我们是否应该放弃「精确复现」的幻想,转而追求「测量系统的等价性论证」——也就是先证明两个实验室的测量系统在校准意义上等价,再谈结果是否一致?







0 评论