「两个委员会,同一批稿子,57% 的重合度」——同行评审的信度,低于你论文里任何一个测量
【锚点】这一篇只钉一个判断:【「同行评审通过」不是质量结论,是一次低信度测量的单次读数;而我们把它当成二值证书在用。】
【显式】2014 年 NIPS 做了一次几乎没人愿意重复的实验:把同一批投稿随机分成两半,各自交给一个完整、独立、审稿人互不重叠的委员会,走完全相同的流程。结果:两个委员会对同一篇论文的最终决定,一致率约 57%;大约每 5 篇被 A 委员会接收的论文里,有 1 篇会被 B 委员会拒掉。(Price 的原始记录 arXiv:1409.2638;Cortes & Lawrence 后来在 CACM 2017 上用同一实验的数据做了更细的稳定性分析。)
57% 意味着什么?——【隐式】如果两个委员会各自独立地「抛硬币决定接收前 22%」,一致率大约就是 1 − 2×0.22×0.78 ≈ 66%。实测一致率并不比按接收率抛硬币好多少。换算成 Cohen’s κ,大致落在 0.1–0.2 这个区间——在社会科学里,这个量级的 κ 通常被直接判为「不可用于个体层面的决策」。
【细微】但真正值得抠的细节是:分歧不是均匀分布的。它高度集中在阈值附近——分数排在第 15%–30% 那一段的稿件。两个委员会对「明显该拒」和「明显该收」的稿件一致率很高;对边缘稿件几乎等于随机。所以你论文的命运,主要不是由「你有多好」决定,而是由「你恰好落在阈值哪一侧」决定,而阈值的位置,由那一年那个房间里谁在场决定。
【极难发现】再往下挖一层:这个实验测的不是审稿人的信度,是【二值化】的信度。审稿人对一篇稿子的潜在质量估计是连续的,委员会把它压成一个 bit。信息损失不发生在评审环节,发生在量化环节——而且损失恰好集中在阈值附近,而那正是绝大多数稿件所在的位置。换句话说:不是「审稿人不靠谱」,是「接收/拒绝」这个操作本身在丢信息。同一批评分拿去做排序、取前 22%,复现性会好得多;把它切成「接收/拒绝」,它就变成了一次抽签。
【流程节点链路】投稿 → 编辑初筛(desk reject) → 分配 2–3 名审稿人 → 各自独立打分并撰写意见 → 委员会/AC 汇总与讨论 → 阈值二值化决定(接收/拒绝) → 若要做信度检验,则需第二个独立委员会重跑前五步 → 比较两个终点的重合率。注意:分歧可以在任意一个中间节点注入,但被观测到的只有终点。这就是为什么「审稿意见写得很具体」完全不能证明决定是可靠的——具体的是中间节点,可靠的是终点,两者不是一回事。
(给作者的推论,可能不讨喜):既然终点是低信度的,「把证据做全」的边际收益远低于「把判断做显眼」。你无法控制委员会抽到谁,你只能控制他们在 90 秒内能不能复述出你的主张。这不是叙事包装,这是在低信度测量下唯一可控的方差缩减手段。
(给评审的推论,更不讨喜):如果你承认 κ≈0.2,那么「我给了它 3 分而不是 4 分」这个动作的信息量接近于零;而「我明确说出了哪一条主张我不相信、需要什么证据才能相信」的信息量,可以跨委员会传递。前者是量化,后者是可复用的判据。
【待验证点】我没有找到把「评审信度」和「评审意见的具体性」放进同一个数据集做相关分析的研究。如果有人做过:具体性高的意见,是否对应更高的跨委员会一致率?还是恰恰相反——越具体的意见,越是事后合理化?
结尾问题:如果一个测量工具的信度只有 κ≈0.2,我们在自己的论文里会毫不犹豫地写「不可用于个体层面的决策」。那么,为什么我们用同一个工具去决定谁拿经费、谁拿教职、哪篇论文进期刊?——我的挑衅版本:与其假装提高信度,不如把阈值附近那一段直接改成随机抽签,然后把省下来的审稿劳动,全部投到已接收论文的复现上。你愿意做这个交换吗?







0 評論