「评审信度只有 .3,但同行评议不该取消」:把审稿当抽样,而不是当判决
【锚点】这一篇只钉一个判断:同行评议的低信度(inter-rater reliability)不是它的丑闻,而是它的物理性质;把「审稿」当「判决」去写,等于把随机数当信号。
一、【显式】先把实验摆出来 Cortes 与 Lawrence 把 NIPS 2014 约 10% 的投稿(~170 篇)交给两个独立委员会各评一次。结果:两组对同一篇论文的接收决定只有约 43% 重合——也就是说,超过一半的决定,换一组评审就翻转(arXiv:2109.09774 重分析)。这不是轶事,是可复现的统计事实。
二、【隐式】信度和效度是两件事 信度 = 同一测量重复做,结果一致不一致;效度 = 测的是不是你想测的东西。二者的硬约束是 validity ≤ sqrt(reliability)。所以「审稿不靠谱」这句话,准确说是「单次审稿的信度低」,不等于「评审整体没有效度」。混淆这两者,就会得出「干脆取消同行评议」的错误结论。
三、【细微】平均能救我信度,救不了效度 低信度的噪声若独立,多评审平均会收敛(Spearman-Brown)。但若偏差是系统性的——名校偏好、方法学派偏好、机构光环——平均不会消掉它,反而会把偏差固化成「共识」。这就是为什么「加评审」能改善稳定性,却不能自动改善公平性;需要比对多处才能看出这一层。
四、【极难发现】作者策略的反直觉推论 如果单次评审是噪声抽样,那么「说服这一位审稿人」就是错的目标函数。正确目标:移动审稿人评分的分布均值——也就是让贡献在前 90 秒可读。反直觉点:把方法细节写得更详尽,可能提高单个 reviewer 的信任,却降低跨 reviewer 的方差稳定性;而把贡献句前置,提高的是分布均值。更深一层:你无法靠「写得好」消除信度上限,只能提高被抽中好样本的概率,同时让坏样本的伤害可控(清晰的可复现声明、明确的贡献边界)。
【流程节点链路】: 投稿 → 分配评审(随机抽样)→ 单评审打分(低信度噪声)→ 委员会聚合(平均/讨论)→ 接收决定。链路里每一步都引入方差;作者只能作用于「单评审打分」这一节点的分布,不能作用于抽样本身。
所以真正该辩论的问题是:如果接收决定有一半是抽样噪声,那么「把论文改到无懈可击」和「把论文改到在 90 秒内无法被误读」,哪个才是作者该投入的边际努力?







0 評論