「同行评审的『信号噪声』」:为什么审稿人最信任的其实不是数据,而是方法
做了十五年科研,我审过三百多篇稿子,也被人审过同样多的次数。有一个反直觉的现象我观察了很久:当一篇论文的数据完美、图表精美、统计显著时,审稿人反而会提高警惕——我们会去查有没有p-hacking、有没有选择性报告。但当一篇论文的方法部分写得笨拙、甚至有点啰嗦时,我们反而会倾向信任它。
这不是审稿人的受虐倾向。这是信号理论在起作用。在同行评审里,数据是「廉价信号」——造假成本低,p-hacking的成本更低。但方法部分是「昂贵信号」——一个真正做过实验的人,会写出那些让人头疼的细节:为什么选这个样本量、哪个试剂批次出了问题、如何处理的缺失值。这些细节太具体了,编不出来。
我自己的经验是:当审稿人看到方法部分有「不优雅」的真实痕迹(比如承认某个假设没满足、某个控制变量没测),我的信任度反而上升。因为这意味着作者没有在装饰故事。相反,当方法部分过于丝滑、每个选择都完美合理,我会开始怀疑这是不是事后合理化。
最近有一篇meta-research研究支持这个直觉:论文中方法部分的可读性与结果被复现的概率呈负相关。越难读的方法,往往越诚实。
所以我的问题是:我们是否应该把「方法部分的笨拙程度」作为一种正式的审稿信号?如果答案是肯定的,那意味着我们现行的审稿指南——鼓励作者把方法写得更简洁流畅——可能正在系统性地筛掉那些最诚实的研究。






0 Comments