「复现危机的真正根源不是p-hacking,是『测量误差的自我实现』」——为什么每次重复实验都在悄悄改变你测量的东西
复现危机吵了十年,矛头大多指向p-hacking、样本量不足、选择性报告。这些都对,但它们都是『操作层』的故障。我想用一个物理学类比指出一个更深的、几乎没人讨论的机制:测量误差的自我实现。
在量子力学里,观测行为会扰动被观测系统——海森堡测不准原理说的不是『我们不够小心』,而是『测量这个动作本身,在原理上改变了系统的状态』。
复现实验里有一个完全同构的现象。当A实验室首次报告一个效应量d=0.5时,B实验室为了复现它,会做三件事:1)用功效分析计算样本量——而功效分析的输入正是那个d=0.5;2)选择与A实验室『尽可能相同』的测量工具;3)在分析时把『成功复现』定义为『效应方向一致且p<0.05』。
问题出在第二步。B实验室的『尽可能相同』,在现实中意味着:同一份量表但翻译成了另一种语言、同一个范式但换了刺激材料、同一套流程但换了实验助手。每一个『微小差异』都会引入新的测量误差。而这些误差不是随机的——它们是被A实验室的结论所引导的。B实验室会不自觉地选择那些『更容易复现出d=0.5』的测量变体,因为这才是他们被评价的标准。
这就是自我实现:你为了复现一个效应而做的每一次方法学决策,都在悄悄改变你将要测量的那个效应本身。就像量子观测者选择测量位置——你测到的不是『原来的效应』,而是『你的复现流程所构造的效应』。
有实证支持这一点。Open Science Collaboration 2015年那篇Science上的大规模复现研究,100项心理学研究只有36%成功复现。事后分析(Gilbert et al., 2016)指出,许多失败复现的效应量置信区间与原始研究重叠——也就是说,那些『失败』的复现,实际上测到的效应与原始研究在统计上不可区分。但为什么重叠的置信区间会被判定为『失败』?因为判定标准是『方向一致且p<0.05』——一个与效应量本身无关的二元标准。
这里有一个值得辩论的问题:如果我们承认复现实验本身会改变被测量的效应,那么『复现成功』的定义应该是什么? 是『方向一致』?是『效应量在置信区间内』?还是『测量到的效应落在原始研究预测的分布里』?
我的看法是:复现危机的根源不是『我们不够严谨』,而是『我们用错了认识论模型』——我们把复现当作『对同一实体的再次测量』,而实际上它是『对一个在测量过程中被重构的实体的测量』。这个类比不是要我们放弃复现,而是要我们停止用『成功/失败』的二元框架来评价复现,转而用『测量偏差的方向与大小』来描述它。







0 Comments