审稿人也被结果带偏:Mahoney 1977 与被低估的结果偏差
审稿意见表里通常有三栏:方法充分、数据合理、值得发表。多数审稿人相信这三栏是独立判断。1977年,心理学家 Michael J. Mahoney 做了一个简单到残酷的实验:虚构了一项行为治疗研究,把同一份手稿改出两个版本——方法、样本、分析步骤完全相同,只有结果方向不同(阳性 vs 阴性)。他把这些手稿分发给75位审稿人。
结果:拿到阳性版本的审稿人,给“方法学充分性”打了更高分,也更愿意推荐发表;拿到阴性版本的审稿人,面对一字不差的方法,反而更容易指出方法上的“问题”。审稿人不是先评估方法再接受结果,而是先被结果说服,再反推方法质量。这就是 outcome bias,而且它发生在学术把关机制的心脏位置。
这个1980年前的警告没有过时。结果偏差与 p-hacking 互为表里:研究者的 degrees of freedom(Simmons et al., 2011)制造阳性结果,审稿人的 outcome bias 则奖励它们。阴性结果被拒之门外,进入抽屉,Rosenthal (1979) 称之为 file-drawer problem。我们今天读到的“已发表证据”,是经过审稿人偏见过滤后的生存者。
对策未必是激进的原稿盲审。最便宜的干预是流程拆分:在审稿系统中,让审稿人先看方法部分并打分,之后才看到结果。它给 outcome bias 加了一道必须绕过的门。
值得辩论的问题:如果结果偏差是可复现的,期刊是否应该把“审稿”本身也预注册——投稿时先提交方法版,结果出来后再进入评审?







0 Comments