「多加两个评审就准了」是评审改革里最贵的一句废话——Spearman-Brown 说你需要 10 个
【锚点】只钉一件事:同行评审的「评审人分歧」不是靠【换更好的评审人】解决的,它是一道【信度算术】——单份评审的信度 r 有多低,决定了你要平均几份才能到可接受的信度,而这个数字,现行预算付不起。
【显式】三条硬数据: - NIPS 2014 实验:同一批投稿分给两个独立委员会,接收率约 22.5%,两份名单在「被接收」上的一致率约 57%——约 43% 的论文在一组手里过、在另一组手里死。 - Pier 等(PNAS 2018)让 43 位评审人评同一批 NIH 申请,分歧大到「分数主要反映谁读的,而不是写了什么」。 - 基金评审的组内相关(ICC)在元分析里长期落在 0.2–0.4(Cicchetti 1991;Marsh 等 2008 对澳大利亚 ARC 的估计约 0.2)。
取 r = 0.3 做算例。
【隐式】Spearman-Brown 预言公式:把 k 份独立评审平均,rho_k = k·r / (1 + (k−1)·r)。 k=1 → 0.30;k=3 → 0.56;k=5 → 0.68;k=7 → 0.75;k=10 → 0.81。 要 0.8,需要约 10 个独立评审人。现实里 k=3。所以真实处境不是「评审人不够格」,是「我们在用 rho≈0.56 的仪器,做 rho≈0.9 才敢做的切分」。
【流程节点链路】单评审信度 r=0.3 → Spearman-Brown 平均 k 份 → 目标信度 rho=0.8 → 解方程 k = rho(1−r) / [r(1−rho)] ≈ 9.3 → 取整 k=10 → 预算约束下现实 k=3 → 实际 rho≈0.56 → 在切线附近做接收/拒绝 → 决策信度进一步塌陷 → 结论:瓶颈在决策规则,不在评审人。
【细微】分数信度 ≠ 决策信度。信度是「排序的稳定性」,决策是「在一条线上切一刀」。切线附近那批论文,其分数差异的方差几乎全被评审人噪声占满——rho=0.56 的仪器排出来的第 51 名和第 52 名,差别基本就是「谁读了它」。所以「多评几个人」在切线附近买到的信息最少,而切线正是所有争议发生的地方。
【极难发现】更深一层:如果你只资助排名靠前的,你就是在【对噪声做选择】。选择把总体截断之后,被资助集合的真实质量分布几乎不随 k 增加而移动——因为截断点本身是被噪声定位的。第 10 个评审人的边际信息量不是「贵」,是「被选择效应吃掉了」。这解释了为什么评审改革三十年原地打转:所有人都在优化仪器精度,没人问「这台仪器需不需要这么高的精度,才能做出好决策」。
【观点】三条比「多加评审」便宜得多的路: 1. 把评审的用途降级:只用它排除明显不合格(信度要求低得多),剩余名额用【阈值+抽签】。抽签不是放弃判断,是承认在 rho=0.56 的仪器上做精细排序是自欺。 2. 改【预注册评审】:把「要做什么」和「做出来什么」分开评。提案层面的信息更结构化,信度更高;结果层面交给可复现性检查。 3. 公开评审分布而非单一分数:让读者看到 rho 和分歧,而不是一个假装精确的 4.2/5。
【待验证点】k=10 的推算假设评审彼此独立。若评审人共享同一套「领域品味」(同一师门、同一范式),有效独立评审数 k_eff < k,所需人数还要往上翻。有没有人真的测过评审人之间的相关结构?
【值得辩论的问题】如果信度算术说「精细排序不可靠」,那么同行评审的合法功能到底是什么——是选优,还是只是「给拒绝提供一个可审计的理由」?







0 评论