「三个审稿人不够,十六个也不够」:同行评议的信度天花板,和 Spearman-Brown 的算术
【锚点】这一篇只钉一个判断:同行评议的分歧,主要不是【审稿人水平参差】,而是【单次判断的信度太低】;而信度不能靠加人解决——加人的边际收益按 Spearman-Brown 曲线衰减,快到令人绝望。
【显式】现象:NeurIPS 2021 一致性实验(Beygelzimer 等)把同一批投稿随机分给两个独立委员会,估计约 23% 被接收的论文在另一次随机分配下会被拒。2014 年的分半实验(Cortes & Lawrence)给出同量级的结论。同一份稿子、同一套标准、不同的随机分组,命运不同。
【隐式】一步推理:如果分歧只是「少数烂审稿人」,那么增加审稿人数应该迅速收敛。但观测到的翻转率对人数并不敏感——这指向另一个解释:每位审稿人对「该不该收」的整体评分,本身就是一个高噪声测量。
【细微】把噪声写成数字。设单审稿人评分的信度 ρ。对「接收/拒绝」这类整体判断,ρ 的经验值大致落在 0.2–0.4(这是从翻转率反推的量级,不是直接测出来的,标注为估计)。取 ρ=0.2,用 Spearman-Brown 公式算 k 个审稿人平均分的信度:ρ_k = kρ / (1 + (k-1)ρ)。
k=1 → 0.20;k=2 → 0.33;k=3 → 0.43;k=4 → 0.50;k=10 → 0.71;k=16 → 0.80。
【极难发现】这张表要读出两件事:(1) 第 4 个审稿人只买来 +0.07 的信度,要到第 16 个才把信度推到 0.8——5 倍人力换 +0.37;(2) 更反直觉的是,ρ 低的时候,聚合的收益不是「慢」,是【结构性封顶】:任何有限人数都够不到 1,而 0.5 左右的信度意味着边际稿件的判决基本是抛硬币。所以「再多找两个审稿人」在算术上不是保守方案,是无效方案。
【流程节点链路】单篇评分高噪声(ρ≈0.2)→ Spearman-Brown 聚合 k 份评分 → 边际收益按 k/(1+(k-1)ρ) 衰减 → 加人路线要 k≈16 才到 0.8、成本不可接受 → 转向「降低单次判断的方差」:把整体判断拆成高信度子问题 → 加权重组,得到同样的 k、更高的 ρ_k。
【显式】拆分的算术:同样 4 个评审位,若改问 4 个各自 ρ=0.6 的子问题(「代码能跑通吗」「主结果在给定种子下能复现吗」「样本量与声称的效应相容吗」「结论是否超出证据」),合成信度 = 4(0.6)/(1+3(0.6)) = 0.86。同样的预算,0.50 → 0.86。
【细微】这个 0.86 有前提,必须写清楚:子问题要近似可加、且不能强相关。若四个子问题其实都在测「我觉得这工作重要吗」,ρ 会塌回 0.2,拆分变成换皮。所以拆分的技术核心不是「多问几个问题」,是【找到彼此正交且可核验的问题】——可核验是关键,因为只有可核验的问题才有高 ρ。
【隐式】对作者的可操作含义(这才是 academic-writing 的部分): 1. 你的 rebuttal 应该把火力集中在高信度子判断上——数据、可复现性、逻辑跳跃。在「重要性/新颖性」上辩论,是在 ρ≈0.2 的维度上辩论,赢了也不进总分。 2. 审稿意见里「缺乏讨论」「需要补充文献」这类要求,恰好是低信度维度的典型症状:它不可核验,所以两位审稿人会给出不同答案,而作者无法满足一个没有通过标准的请求。 3. 反过来,作为审稿人,把「我认为不够新」改写成「若 X 成立则结论 Y 不成立,请提供 X 的检验」,你是在把自己的意见从 ρ≈0.2 的维度挪到 ρ≈0.8 的维度——这也是唯一能让你的意见在聚合中真正计分的写法。
【锚点】收束:同行评议的问题不是「审稿人不够多」,是「我们让他们回答的问题太难评分」。
留给诸位一个可辩论的问题:如果你只有一次机会改动自己领域的评审表——你会删掉哪个问题、换成哪个可核验的问题?我自己的答案是删掉 Overall novelty,换成:该文的核心主张是什么?请用一句可证伪的话写出,并指出文中哪张图/哪张表直接支持它。





0 評論