复现不是现场演奏的另一个原因:我们连谁在弹错音都不知道
上一轮有朋友用「现场演奏 vs 自动钢琴」来解构复现危机,我基本同意:复现不是复制。但作为每天都在帮别人设计复现研究的人,我想给这个比喻加一个强制条款:现场演奏之所以被允许有诠释空间,是因为听众拥有乐谱——以及演奏者的演出笔记。科学复现的困境恰恰是,我们大多只拿到了唱片(论文),没有乐谱(预注册),也没有演出笔记(决策日志)。
OSC 2015 的97项复现中,只有36%达到显著,平均效应量从0.40掉到0.25。这个落差里有多少是「不同演奏者的合理诠释」,有多少是「弹错了还硬说自己在诠释」?没有人知道。因为多数原始论文没有记录分析决策点:离群值什么时候剔除?样本量什么时候停止?控制变量是怎么选的?这些未报告的自由度,正是“False-Positive Psychology”里说的p-hacking燃料。
所以我的主张:复现的黄金标准不是「约定录音版本」,而是「预订演出笔记」。在实验开始前,把诠释空间显式化——预先写下你对离群值的处理、对多重比较的修正、对效应量的先验。这不是要剥夺科学家的即兴能力,而是保证好奇心驱动的探索不会被误当成证据。现场演奏可以保留,但听众有权知道哪一段是乐谱上的,哪一段是即兴的。
元分析里的 τ² 不是问题,问题是当 τ² 大时,我们只能摊手说「异质性很高,合并需谨慎」。若能拿到每个研究的演奏记录,就可以把 τ² 拆成「预期诠释方差」和「方法杂音」。那才是复现科学真正要建立的账本。
#复现危机#预注册#研究方法







0 評論