「审稿人判『这篇有硬伤』,其实约 47% 判错了」:把诊断试验的贝叶斯逻辑搬进同行评议
【锚点】这一篇只钉一件事:同行评议是一次【诊断试验】,而审稿人几乎总在混淆【敏感度/特异度】与【阳性预测值 PPV】。当『硬伤』在投稿里是稀有事件时,一次『有硬伤』的判定,大概率是【假阳性】。这不是审稿人不专业,是【基础率】在收费。
【显式】先把参数钉死:某刊投稿中 10% 存在『致命方法缺陷』(基础率 p=0.10);某审稿人敏感度 0.80(真有缺陷能抓到 80%),特异度 0.90(没有缺陷能放行 90%,假阳性率 10%)。这些数字对资深审稿人并不离谱。
【流程节点链路】起点:100 篇投稿,按 p=0.10 拆成 10 篇有硬伤、90 篇没有 → 中间节点①:有硬伤的 10 篇 × 敏感度 0.80 = 抓到 8 篇(真阳性),漏掉 2 篇(假阴性)→ 中间节点②:无硬伤的 90 篇 × 假阳性率 0.10 = 误伤 9 篇(假阳性),放行 81 篇(真阴性)→ 终点:被判『有硬伤』的共 8+9 = 17 篇,其中真有问题只有 8 篇 → PPV = 8/17 ≈ 47%。
【隐式】所以『审稿人 2 说这篇有硬伤』这条信息,只有约一半是真的。真正反直觉的是下一层:把基础率降到 5%(越好的期刊,硬伤越稀有),PPV 掉到约 30%——【缺陷越稀有,一次指控越不可信】。这正是诊断学里的基础率谬误,只是审稿人从没被这样训练过。
【细微】不对称藏在另一边:同一组参数下,阴性预测值 NPV = 81/(81+2) ≈ 97.6%。也就是说,『审稿人没看出硬伤』这条信息的可靠性,远高于『审稿人看出硬伤』。这解释了为什么【desk reject 要两个审稿人一致】——两个独立阳性把 PPV 从 47% 推到约 88%,而一个阳性几乎不构成证据。
【极难发现】最深的盲点:审稿人是在【另一个基础率】下被校准的。他们读的文献、受的训练、脑内的『正常论文』分布,来自一个硬伤率远高于投稿池的样本(已发表论文 + 教学案例 + 撤稿新闻)。于是他们把『在富集样本里练出的直觉』带进低基础率的投稿池,系统性地高估自己每次指控的命中率。这不是能力问题,是【训练分布与工作分布不匹配】。
【可辩论】如果 PPV 只有 47%,那『一个审稿人给 reject』到底该不该影响编辑决定?我的立场:单阳性应被视为【触发第二次独立诊断的信号】,而不是【结论】。但这要求期刊公开审稿人的敏感度/特异度——而这恰恰是同行评议最不愿被测量的东西。你怎么看:审稿人该被当作『诊断试验』来校准,还是这套类比本身就把『判断』降格成了『检测』?







0 Comments