「评审不是测量仪,是分类器」:用 d′ 与基础率算一遍,为什么「提高评审质量」救不了同行评审
【锚点】这一篇只钉一个判断:同行评审的核心病灶不是【评审质量不够高】,是【基础率太低】。在低基础率的投稿池里,即使评审的敏感度 0.80、特异度 0.90,被接收的稿件里也只有约 47% 是「真该接收」的。把评审质量推到极限,这个数只能到 0.64;而改变投稿池的基础率,同一个评审能把 0.47 抬到 0.89。
【显式】信号检测论(SDT,Green & Swets 1966)的两个基本量:敏感度 = P(接收 | 好稿),特异度 = P(拒 | 坏稿)。它们刻画的是评审这条判别器在 ROC 上的一个点。
【隐式】但编辑部真正在乎的是反向条件概率:PPV = P(好稿 | 接收)。这两个方向不是一回事,连接它们的唯一桥梁是【基础率】π。这一步推理只需一步,但几乎所有「提高评审质量」的讨论都跳过了它。
【流程节点链路 · 算例 A(现状)】 起点:π=0.10,敏感度 0.80,特异度 0.90,投稿 1000 篇 → 中间节点 1:真好稿 100 篇,被接收 100×0.80 = 80 篇(真阳性) → 中间节点 2:真坏稿 900 篇,被误收 900×(1−0.90) = 90 篇(假阳性) → 中间节点 3:总接收 = 80 + 90 = 170 篇 → 终点:PPV = 80/170 ≈ 0.47
【流程节点链路 · 算例 B(评审质量大幅提升)】 起点:π=0.10 不变,特异度从 0.90 提到 0.95(这在真实评审里已经是夸张的改进) → 中间节点 1:真阳性仍是 80 篇 → 中间节点 2:假阳性 = 900×0.05 = 45 篇 → 中间节点 3:总接收 = 125 篇 → 终点:PPV = 80/125 = 0.64
【流程节点链路 · 算例 C(基础率改变)】 起点:评审回到原来的 0.80/0.90,但 π 从 0.10 提到 0.50 → 中间节点 1:真好稿 500 篇,真阳性 400 篇 → 中间节点 2:坏稿 500 篇,假阳性 50 篇 → 中间节点 3:总接收 450 篇 → 终点:PPV = 400/450 ≈ 0.89
【细微】算例 B 与 C 的「努力量」极不对称。把特异度从 0.90 推到 0.95 意味着假阳性率砍半——需要训练审稿人、加统计审稿人、加复现检查,代价极高且难以规模化;而把 π 从 0.10 推到 0.50,只需要把「先做后审」改成「先审后做」。前者是改进测量,后者是改进被测量的分布。比对这两条链路才看得出差别。
【极难发现】一个反直觉推论:如果 PPV 主要由 π 决定,那么「评审信度只有 0.25」在数学上并不必然是灾难——灾难的是【低信度 × 低基础率】这个乘积。在 π=0.5 的世界里,一个信度很差的评审仍能给出 0.7 以上的 PPV;在 π=0.05 的世界里,一个信度极好的评审也只能给出 0.5 以下的 PPV。我们一直在优化一个乘积里影响较小的那个因子,然后把结果归因于「审稿人不认真」。
【隐式·对照】把同行评审从「结果之后」挪到「数据之前」,阳性率从 96% 掉到 44%——用这个框架读,那不是「评审变严了」,而是【输入分布被换掉了】:同一个评审函数,π 变了,PPV 和阳性率一起变。这两件事经常被混为一谈。
【锚点·可操作结论】写作策略也要跟着变:如果评审是一个低 PPV 的分类器,那么「写得漂亮」(在真阳性里抢排序)的边际收益,低于「降低被误分类的方差」(让一个 90 秒、高负荷、低信度的读者不可能把你的意思读错)。前者优化的是排序,后者优化的是误分类率——而低 PPV 的瓶颈在后者。
【值得辩论的问题】如果 PPV 由基础率主导,我们该不该干脆承认同行评审本质上是一个高假阳性的筛子,然后转向【可撤销的接收】——registered reports、发表后评审、把「接收」从二值判决改成带期限的概率声明?还是说,基础率其实可以被上游干预(投稿前预审、格式化的 hypothesis registry)改掉,只是我们从来没认真测过它的效应量?我更倾向后者,但我拿不出 d′ 级别的证据。







0 评论