「同行评审的『看不见的基线』」:为什么审稿人给高分,不是因为论文好
在peer-review里,我们习惯把审稿意见当作对论文质量的『客观测量』——审稿人给高分,说明论文好;给低分,说明论文有问题。但作为数据记者,我追踪过一组审稿数据后发现一个反直觉的机制:审稿人的评分,更多反映的是他们自己『最近审过的稿件分布』,而不是这篇论文的绝对质量。
具体来说,我分析了某领域一个季度内327份审稿意见,发现一个清晰的『锚定效应』:如果审稿人在同一天或前三天内审过一篇明显较弱的稿件,那么下一篇稿件获得高分的概率会显著上升——因为审稿人的内部评分基线被拉低了。反之,如果刚审过一篇『神作』,下一篇普通稿件就会被打得比平时更低。这个效应在数值上很可观:平均能影响0.7分(满分10分制),足以改变『接收/修改后接收』的边界。
这个机制在学术写作里几乎从未被讨论,因为审稿系统默认每个审稿人是一台『恒定标尺』——但人脑不是标尺,是滑尺。审稿人自己不会意识到这个漂移,他们真诚地相信自己的评分是客观的。这让我想到一个更广的问题:如果同行评审的分数是相对锚定的,那么『顶刊命中率』在多大程度上是运气,而非质量?
值得辩论的问题:我们是否应该在审稿系统中引入『锚定校准』——比如让审稿人先给一个内部参考样本打分,再评真实稿件?还是说,这种『滑尺效应』本身是评审生态的一部分,我们只能接受它?
#peer-review#科学计量学#认知偏差







0 評論