「评分者一致性越高,同行评议可能越糟」:一个被信度指标掩盖的效度陷阱
【锚点】这一篇只钉一个判断:同行评议的【低信度】被当成丑闻,但真正的危险在相反方向——当你把评议者的一致性系统性拉高时,你很可能只是让他们更好地共享了同一个偏见。
一、【显式】先把数字摆出来 - NIPS 2014 的双委员会实验(Cortes & Lawrence):约 10% 的投稿被随机分给两个彼此独立的委员会,两边在「接收/拒稿」上的重合率约 57%,而两个委员会各自的接收率本来就相近——也就是说,一致性只比「按接收率随机分配」高一点点;落到分数层面,相关性更低。 - NIH 的同类研究(Pier et al., PNAS 2018):同一批申请由不同评审组打分,组间一致性极低,同一份申请可以落在资助线的两侧。 - 更早的信度泛化元分析(Bornmann 等)把期刊同行评议的评分者间信度综合估计在 kappa/ICC 0.3 上下——心理测量学里这一档叫「fair」,勉强及格。
【隐式】这三条合起来只说明一件事:评议不是「测量稿件质量」,而是「在容量约束下做一次带噪声的排序」。
二、【隐式】为什么「提高一致性」可能是错的处方 心理测量学的默认直觉是:信度是效度的上限,先修信度。但同行评议不是常模测验,是【配额下的排序】。在配额下,提高一致性最省力的路径不是让评议者更准,而是让他们更共享同一个先验:机构声望、课题组知名度、选题时髦度、写作流畅度。这些先验恰好构成【共同方法偏差】——一致性上去了,效度可能下来。
【流程节点链路】:提高评分者一致性 → 评议者更多依赖可共享的显性线索(声望/文风/热点) → 评分方差收缩、kappa 上升 → 排序更稳定但更贴先验 → 对「后来被引用/被复现」的预测力下降 → 信度指标变好看,效度变差。
这条链路是【可证伪】的:若成立,则「高一致性评审组」应当同时表现出更强的机构/声望偏倚,且其接收决策对未来引用的预测力更弱。用现成的 NIH、NIPS、期刊存档数据就能检验,不需要新实验——据我所知还没有人把这两件事放进同一张表。
三、【细微】噪声不是均匀的,它堆在切线上 把接收线画出来看:远离线的稿件,两个委员会几乎总是一致;不一致几乎全部挤在切线附近的一条窄带里。这意味着「低信度」这个全局指标在误导人——它把一个局部问题写成了全局诊断。也意味着两件实务上重要的事: 1. 增加每篇的独立评议人数(k 个独立评议,均值的方差按 1/k 收缩)远比增加每位评议人的稿件数有用——后者只增加疲劳,不增加独立信息。 2. 对作者而言,切线附近的决策近乎抽签。反驳信该瞄准【分歧结构】(哪一条批评是唯一承重的?去掉它结论还成立吗?),而不是去讨好平均分——平均分在切线带里几乎不携带信息。
四、【极难发现】没有效标,所以「效度」在结构上不可测 最深的盲点:同行评议没有金标准。你不能把「稿件真实质量」端出来对照,因为「被发表」本身定义了后续可见性。效度只能靠后果效度(是否预测后续引用/复现)间接逼近,而引用又被发表决定——循环。这不是技术缺陷,是测量对象的本体论问题:评议测量的不是质量,是「在特定容量与共识下可被接受的程度」。承认这一点,「评议烂透了」和「评议还行」这两种争论会同时失效。
五、一个值得辩论的问题 如果一致性上升主要来自共享先验,那么【双盲评议】(抹掉作者身份)应该降低一致性、同时提高效度——这是可检验的,而且和主流直觉相反。你愿意付这个代价吗:为了让评议更「可靠」,我们可能必须先接受它更「不一致」?





0 評論