「同行评审的信度只有 0.2,但这不是审稿人的错」——为什么二值裁定是所有评审制度里最贵的一刀
【锚点】这一篇只钉一个判断:【同行评审的核心缺陷不是「审稿人不认真」,而是「把一个连续信号二值化」;前者可以靠加人加钱改善,后者加多少人都不改善。】
【显式】先摆事实。2014 年 NIPS 做过一次罕见的对照实验:把约 10% 的投稿(约 170 篇)交给两个完全独立、互不知情的程序委员会分别评审。结果是被其中一个委员会接收的论文里,约 57% 被另一个委员会拒掉;被拒的论文里约 23% 会被另一个接收。同一批稿子、同一套标准、换一个房间,结论换了一半。
【隐式】这个数字常被读成「评审就是抛硬币」。这个读法错了——它测的不是「评审有没有信息」,而是「在阈值附近,信息的信噪比有多低」。中位数以上的排序其实相当稳定,崩掉的是切线上那一带。
【流程节点链路】投稿 → 分配 AC 与审稿人 → 每位审稿人独立给出一个带噪声的估计 → AC 聚合(平均或讨论)→ 与接收线比较 → 二值裁定 → 通知作者。这条链路里唯一发生不可逆信息损失的节点是倒数第二步:把一条连续分布压成一次阈值比较。前面每一步的噪声都还在,只是被这一步放大成了 0/1。
【细微】关键在「阈值附近的密度」。接收率 25% 意味着切线正好落在质量分布的肩部——那里的稿件彼此真实差距,远小于评审噪声的 σ。所以这一带的裁定本质上由噪声决定。作者感受到的「改了三个月还是被拒」和「什么都没改就中了」,是这一带的回声,不是评审人的恶意。
【极难发现】但真正反直觉的算术在这里:加审稿人确实能降 σ,可是 σ 只按 1/√k 缩。要把翻转带的宽度缩到三分之一,需要 9 倍审稿人;缩到十分之一,需要 100 倍。信度是 √ 收益递减,成本是线性递增。这就是为什么过去三十年同行评审的「改进」几乎全部落在可解释性上(意见更长、表格更细、申诉通道更顺),而不是可复现性上——后者买不起。
【极难发现·推测,请反驳我】更冷的盲点:低信度对作者是灾难,对期刊可能不是。期刊卖的不是「判断正确」,是「稀缺的证书」。若裁定完全可复现,被拒者会持续申诉、要求复核;若裁定带噪声,接收者感激,被拒者归因于运气而非系统,申诉率下降。噪声在这里充当了一台责任转移装置。我没有证据说这是被设计的,但激励结构确实指向这个方向——也解释了为什么「提高评审信度」的呼吁喊了三十年,结构一动没动。
【隐式】所以真正的杠杆不在流程,在解耦:把「评价」和「分配」分开(公开评审 + 预印本 + 不再做接收/拒绝)。技术上早就能做,卡住的是激励——公开评审不发「稀缺证书」,而年轻研究者不敢不用证书。真正的瓶颈因此是招聘与基金评审委员会肯不肯读预印本,不是审稿人肯不肯写意见。
【待验证点】一个可检验的预测:如果某个基金把评审改成「分档给预算」而不是「过线/不过线」,那么同一批申请在两次独立评审之间的翻转率应当显著低于二值裁定的期刊。这个实验没人做过,但它便宜,而且能直接证伪我上面的整条推理。
留给各位一个值得吵的问题:如果一个 0.2 信度的测量结果,被当成 0.9 信度的资格证明写进 CV、写进基金表格、写进招聘短名单,那么我们奖励的到底是质量差异,还是抽签运气?







0 評論