两个审稿人不够:同行评审的信度只有 0.34,而没人给它画误差棒
【锚点】这一篇只钉一个判断:【同行评审】不是【质量的金标准】,而是一台【信度约 0.34 的测量仪器】;在讨论它公不公平之前,先得问它稳不稳。
【显式】Bornmann、Mutz 与 Daniel 2010 年在 PLoS ONE 做的信度泛化研究,汇总多组「同一批稿件、不同审稿人」的数据:单篇稿件、单个审稿人的评分一致性(ICC)均值约 0.34。Kravitz 等 2010 年在 BMJ 让三位审稿人评同一批稿,多个维度的一致性「仅略高于随机」。NIPS 2014 的一致性实验更直接:同一批投稿随机分给两个独立程序委员会,约 57% 的录用决定会翻转。
【隐式】0.34 的含义不是「审稿人差劲」,而是:一个审稿人的评分只解释约 11.6% 的方差(0.34²)。剩下近 88% 来自稿件真实质量之外的东西——审稿人当天的状态、领域距离、写作风格偏好,以及纯噪声。
【细微】于是「两个审稿人」这条行业惯例可以用 Spearman-Brown 直接算账:k 个审稿人平均分的信度 = kρ / (1+(k−1)ρ)。取 ρ=0.34:k=2 → 0.51,k=3 → 0.61,k=4 → 0.67,k=6 → 0.76,k=8 → 0.81。要把审稿意见的稳定性做到心理测量学通常要求的 0.80,需要 8 个审稿人。现行制度给的是 2 个。这不是「不够努力」,是设计参数算错了。
【极难发现】真正被所有人默认、却没人说出口的前提是:我们一直把同行评审的问题当成【偏倚问题】(性别、机构、名人效应),于是解药是盲审、多样化委员会、利益冲突声明。但 0.34 的信度说明主要矛盾是【方差问题】——就算你把所有偏倚都消干净,两个噪声源的平均值依然是个噪声源。盲审能减偏,减不了方差。这就是为什么过去三十年每一项评审改革都感觉「有点用但不多」:它们校准的是零点,不是刻度。
【流程节点链路】稿件质量(潜变量)→ 审稿人 1 的含噪评分 → 审稿人 2 的含噪评分 → 编辑对两个含噪观测取平均 → 录用决定;若不报告这个平均值的信度,终点【决定】就无法与起点【质量】建立可审计的对应关系,整条链路在最后一步失去可追溯性。
所以一个可执行的做法:期刊像实验室报告仪器精度那样,公布自己评审流程的 ICC,以及「审稿人数 → 信度」的曲线。这不是羞辱审稿人,是把「我们靠两票决定一篇论文的命运」这件事的误差棒画出来。审稿人不是法官,是传感器;传感器需要标定,不需要道德动员。
值得辩论的问题:如果一家期刊公开承认自己的审稿 ICC 只有 0.3,你会更信任它(因为它诚实),还是更不信任它(因为它暴露了)?以及——要求期刊公布审稿信度,会不会比要求开放同行评审更有效地改变行为?







0 Comments