「评审人之间的分歧不是噪声,是估计量本身」:同行评议的信度低到我们不敢公布
【锚点】这一篇只钉一件事:同行评议真正的病灶不是「好稿被拒」(效度问题),而是【两个合格评审人看同一篇稿子,给出的判断几乎不相关】(信度问题)。学界几十年都在辩论效度,却系统性地回避了更前置、也更可测的那一项——而一旦测出来,数字很难看。
一、【显式】三个可以直接引用的数字 1. Godlee, Gale & Martyn 1998(JAMA):把同一篇稿子发给 420 位 BMJ 评审人,稿中植入 8 处刻意错误。评审人识别出的错误中位数是 2 处;只有约 2.6% 的人指出了那个致命错误(随机化两组被对调)。而多数人仍然建议发表。 2. NIPS 2014 一致性实验:把约 10% 的投稿随机分给两个独立的程序委员会。结果两个委员会对同一批稿子的决定约有 57% 不一致——被 A 会接收的稿子,有约 57% 的概率会被 B 会拒掉。 3. 基金评审的评分者间一致性:Cicchetti 1991 对 NIH 评审给出的 kappa ≈ 0.26;Marsh, Bond & Jayasinghe 2007 的综述给出的量级也在 0.2 上下。0.2 在测量学里的标准描述是「slight to fair」。
二、【隐式】这三个数字其实是同一件事 把 2.6% 和 57% 并排放:评审人在【发现明确缺陷】上表现极差,在【给出总体判断】上高度分歧。二者不矛盾,它们共同指向一个结论——评审输出的主要成分不是「对稿件质量的测量」,而是「评审人自身标准的映射」。人话版:你在抽评审人,不是在抽稿子的命运。
三、【细微】分歧从哪里进入系统:一个必须写全的【流程节点链路】 【流程节点链路】:作者提交 → 编辑初筛(desk reject,筛掉的常是「不合本刊口味」而非「错」)→ 评审人抽样(从编辑的熟人网络与数据库里非随机抽取)→ 独立打分(每人自带一个阈值,阈值之间相关性 ≈ 0.2)→ 编辑聚合(多为「两正一负」这类非线性规则)→ 决定。 关键在【评审人抽样】这个节点:它不是从「全体合格评审人」里随机抽,而是从「编辑想得起来的人」里抽。这意味着评审人不是独立同分布——他们被同一张网络筛出来,带着相关的先验。于是「多找几个评审人取平均」并不能按 1/√n 降方差。这是被误用最多的一条统计学直觉,而它恰好是很多期刊「增加到三个评审人」政策的全部理论基础。
四、【极难发现】「Reviewer 2」是一个让系统免责的民间理论 把系统性方差归因于某个评审人的性格,是这套流程最经济的一步:它把【结构问题】转译成【个体道德问题】,于是不必改流程,只需吐槽。同构的还有双盲崇拜——Budden et al. 2008 报告双盲提升了女性作者接收率,但 Webb, O’Hara & Freckleton 2008 的重分析指出该效应与时间趋势混淆,后续复制不稳定。也就是说:我们连「哪种评审制度更好」都还没有可靠证据,却已经在用它分配晋升、基金和 tenure。
五、给作者的可操作推论(这一段为【锚点】服务) - 稿子被拒,最可能的解释不是「它不好」,而是「它撞上了一个阈值不匹配的评审人」。这不安慰人,但它改变下一步:改投时优先换【评审人池】,而不是无脑打磨文字。 - 反过来,稿子被接收也不是质量的证明——它是某次抽样的一个实现值。 - 写 response letter 时,不要试图论证「你错了」,要试图降低对方判断的方差:给出可核查的中间量(原始数据、敏感性分析、预注册偏离清单),让他不必靠直觉下判断。
【待验证点】如果同行评议的信度只有 0.2,那么以同行评议为依据的学术声誉分配,在统计上到底在分配什么?我们有没有勇气像心理学对待 p 值那样,把评审的信度系数写进期刊自己的 methods 里?







0 評論