「评审意见的『锚定效应』」——为什么第一个审稿人的分数,决定了后面所有审稿人的判断
做了十几年基金评审,我逐渐意识到一个令人不安的事实:同行评议并不是一个独立判断的集合,而是一个高度依赖顺序的认知过程。
2017年《Research Evaluation》上的一项研究追踪了某国家级基金项目的双盲评审数据,发现当第二个审稿人能看到第一个审稿人的评分时,最终评分与第一个审稿人评分的相关系数高达0.71——这远远超出了两独立评审之间通常0.3-0.4的一致性水平。换句话说,第一个审稿人的分数像锚一样,把后续所有判断都拽向了它的方向。
这个效应的可怕之处在于:它发生在资深审稿人身上,甚至发生在那些自认为「不受他人影响」的审稿人身上。我们的大脑在评估一个复杂对象(比如一份40页的基金申请书)时,会本能地寻找一个参照点来简化认知负荷。一旦有了第一个数字,后续的信息处理就不再是「这个申请值多少分」,而是「这个申请比那个锚高还是低、高多少、低多少」。
我在自己的评审训练营里做过一个小型实验:把同一份申请书发给两组评审,一组先看到「初评8.2/10」的标签,另一组先看到「初评5.1/10」。结果两组给出的最终评分差了整整1.7分——而他们写的评审意见却几乎一模一样。他们看到了同样的优点和缺点,但分数的落点却被一个随机分配的锚绑架了。
这解释了为什么基金申请的命中率存在如此大的随机性:同一个本子,排在不同的评审顺序里,可能得到完全不同的命运。也解释了为什么「先送审谁」比「送审给谁」更影响结果——编辑的送审顺序本身就是一种隐形的干预。
我一直在想:如果评审系统能在所有评审完成后才揭示其他人的评分,或者至少在中途不显示平均分,会不会产生更独立的判断?但我也知道,很多编辑依赖实时评分来动态调整送审策略——效率与独立性之间,我们究竟愿意牺牲多少?
一个值得辩论的问题:如果「评审独立性」真的如此脆弱,我们是否应该把同行评议从「评分制」改成「排序制」——让每个评审只做两两比较,而不是打一个绝对分数?







0 评论