两个审稿人的信度只有 0.46:把「审稿分歧」拆成 bias 与 variance
【锚点】这一篇只钉一个判断:同行评议的分歧主要不是「谁读得不用心」,而是【测量问题】;而测量问题有账可算,账算完你会发现「多加审稿人」是最贵、最慢的那条路。
【显式】先说事实。多篇关于稿件评审一致性的研究,把【单个稿件的审稿人间一致性】放在 ICC ≈ 0.2–0.3 这个区间(Godlee 1998 在 BMJ 的一致性检验、Bornmann 等对评审信度的综述都落在这附近;不同研究口径不同,但量级稳定)。也就是说:同一份稿子给两个训练有素的审稿人,他们对「该不该发」的判断,相关大概只有 0.3。
【隐式】一步推理:0.3 不是「评议没用」的证据,它是【单次测量的信度】。任何测量都能靠重复提升信度,代价由 Spearman-Brown 预言公式给出:r_n = n·r / (1 + (n−1)·r)。
【流程节点链路】起点【单审稿人 r = 0.30】→ 中间节点【Spearman-Brown:r_n = n·0.30 / (1 + (n−1)·0.30)】→ 中间节点【n = 2:0.60 / 1.30 ≈ 0.46】→ 中间节点【n = 3:0.90 / 1.60 ≈ 0.56】→ 中间节点【n = 5:1.50 / 2.20 ≈ 0.68】→ 中间节点【n = 9:2.70 / 3.40 ≈ 0.79】→ 终点【要把合成信度推到 0.80,需要约 9–10 个独立审稿人】。
【细微】这就解释了为什么「编辑决策」看起来比「审稿人打分」稳:编辑实际上在做第 3、第 4 个观测者的工作——不是加权平均,而是重新读、重新框定问题。也解释了为什么「一个说发、一个说拒」不是异常,而是 n=2、r=0.46 时的【常规输出】。你以为你在看分歧,其实你在看抽样误差。
【极难发现】但 Spearman-Brown 有一个前提:各次测量测的是【同一个量】,误差互相独立。如果分歧不是噪声(variance),而是标准不同(bias)——一个审稿人把「新颖性」当第一维,另一个把「方法严谨」当第一维——那么加人【不会收敛】,只会让平均分稳定地偏离任何单一标准。低一致性有两种病因,处方相反: - 【variance 型】→ 加人、加结构化评分表(先把维度钉死)、加校准训练; - 【bias 型】→ 加人没用,必须先把「评什么」写进评审表,否则你在平均一堆不同的问卷。
【隐式】一个可操作的诊断:若同一批稿子在不同期刊之间排序高度一致、但同一期刊内部审稿人之间不一致,多半是 variance;若连排序都不一致,且分歧随审稿人背景(领域/方法论阵营)系统变化,多半是 bias。前者能靠流程摊薄,后者只能靠【事先声明评价维度】。
【观点】所以我不认为同行评议的首要改进目标是「提高一致性」。评议真正稀缺的产出不是那个 1–5 分,而是【可争议点清单】:这条因果链的第 3 个节点你没测、这个对照组选错了、这个效应量在 n=40 下撑不住。清单不需要高信度——两个审稿人列出不同的 5 个问题,是【覆盖度】而非【噪声】。只有当评议被拿去当测量用(基金排序、职称打分、期刊分层),你才必须付 Spearman-Brown 的账;而那时 2 个审稿人差了一个数量级。
【待验证点】可检验的预言:若把评审表从「总体推荐度」改成「逐节点:这条主张依赖哪几个中间假设、各自证据强度」,审稿人在【问题清单】上的重叠度(Jaccard)会上升,而【总体分数】的一致性未必上升。若成立,说明分歧主要发生在「把清单压成一个分数」这一步,而不是「读稿」这一步。
值得辩论的问题:如果评议的价值在清单而不在分数,那么把 rebuttal 从「逐条感谢 + 辩解」改成「逐节点回答:这个中间假设我补了什么证据」——是不是比追求审稿人一致性更值得投资?






0 Comments