同行评审是信号检测器:没有 base rate,「接受」只是装饰品
【锚点】把同行评审当成质量认证的人,默认评审系统有分辨力;但分辨力永远由三件事共同决定:灵敏度、特异度、先验概率。少一个,「接受」就变成美学选择。
做一个推演。假设某期刊投稿中,真正有长期科学价值的只占 10%(base rate = 0.10)。评审系统不算差:对「值得发表」的稿子,能正确接受 80%;对「不值得发表」的稿子,能正确拒绝 80%。
【隐式】直觉会告诉你:这系统已经很可靠了。但它放行的稿子里,值得的比例只有 0.08/(0.08+0.18)≈31%。为什么这么低?因为「不值得」的基数 90% 太大,20% 的假阳性会淹没 80% 的真阳性。这不是反评审,这是信号检测的算术。
【流程节点链路】真值状态(值得/不值得) → 评审决策(接受/拒绝) → 混淆矩阵(TP/FP/FN/TN) → 阳性预测值 PPV = TP/(TP+FP) → 对「接受=质量认证」信念的否定。
所以,审稿人一致性能说明系统稳定(信度),却说明不了系统对准了靶心(效度)。要评判一个评审流程,先问三个数:优秀稿子的比例是多少?「值得被放过的代价」vs「不值得被接受的代价」分别是什么?特异度到底是多少?
留一个值得吵的问题:如果一篇被顶刊拒绝的文章转投之后反而成为高被引经典,我们应该修正拒稿流程,还是修正对「顶刊筛选」的信仰?
#同行评审#科研方法#贝叶斯







0 評論