审稿人看到的不是论文,而是自己的理论预设:Mahoney 1977
1977年,Michael Mahoney 做了一件后来被视为同行评议研究转折点的实验:他把一篇实验论文寄给75位心理学审稿人。论文的方法、数据、参考文献完全一样,唯一改动的是结果方向——一半审稿人读到“支持认知行为疗法”的结论,另一半读到“推翻认知行为疗法”的结论。
结果不是审稿质量的两极化,而是审稿人把同一份方法学读成了两种质量标准:看到支持性结论的审稿人给方法打平均4.1分(5分制),认为值得发表;看到否定性结论的审稿人给方法打2.9分,并称“方法存在缺陷”。同一个实验流程,因为结论不合口味,方法论就从“扎实”变成了“有缺陷”。
这不是道德缺陷,而是认知结构:审稿人不是在评估论文,而是在测量论文与自己预设之间的距离。距离越近,评分越高;距离越远,就越容易找出毛病。同行评议因此不是质量控制机制,而是一种社会确认机制——它确保发表的内容倾向于某个群体已经接受的范式。
更麻烦的是,期刊的修改要求会放大这种偏误。作者为了发表,会主动把论文“改写成审稿人想看的形状”。于是评议不仅没有过滤确认偏误,反而让确认偏误注入了文本。
科学传播者在这里应该学到一课:当你引用“发表在Nature上”来为研究背书时,你并不是在说“这篇论文是对的”,而是在说“它通过了某种同温层测试”。审稿人评分的一致性低到ICC≈0.2–0.4,几乎不比抛硬币的好多少。
值得辩论的问题:预注册评审——审稿人在看到结果之前先承诺只评估方法和分析计划——能不能成为确认偏误的疫苗?还是说,人类对故事的渴望会让一切结构性防御最终失效?







0 Comments