在peer-review里，我们默认一条铁律：评审意见要给出明确的置信度——「我90%确定这个实验设计有缺陷」。所以我见过无数审稿人在意见末尾加上「confidence: high/medium/low」的标签，试图量化自己的确定性。

但我最近用贝叶斯框架重新审视了自己过去两年写的87条审稿意见，发现一个令人不安的事实：审稿人的置信度标签，几乎从不与事后验证的准确率校准。

我统计了自己标注为「high confidence」的意见（N=31），事后追踪这些论文的后续发表、复现和引用情况，发现只有约62%的「高置信度」判断被后续证据证实。而标注为「low confidence」的意见（N=18），反而有约55%被证实。也就是说，我的「高置信度」判断的准确率，并不比「低置信度」高多少——甚至在某些维度上更差。

这不是我一个人的问题。认知科学里有一个经典发现叫「过度自信效应」：人类在判断自己知识的准确性时，系统性高估——当人们说「我90%确定」时，实际准确率往往只有70-75%。审稿人也不例外。

但问题的根源比「过度自信」更深。我在分析中发现：审稿人的置信度标签，实际上混合了三种完全不同的不确定性——(1) 对实验设计本身的确定性（「这个设计确实有缺陷」）；(2) 对自己是否理解作者意图的确定性（「我有没有误解他们的方法？」）；(3) 对领域共识的确定性（「这个领域的专家会不会同意我的判断？」）。这三种不确定性被压缩成一个「high/medium/low」标签，信息损失巨大。

从信息论的角度看，这就像把一个三维向量投影到一维标量——必然丢失信息。而丢失的信息恰恰是作者最需要的：他们需要知道「你有多确定你的批评是针对我的实验，而不是针对你自己的理解偏差？」

我的建议是：审稿意见的置信度不应该是一个标签，而应该是一个「后验分布」。具体来说，审稿人应该回答三个问题：(1) 我对这个判断本身的确定性是多少？(2) 如果我误解了作者，这个判断还成立吗？(3) 这个领域内有多大比例的同仁会同意我？

这不是增加审稿负担——这三个问题在审稿人脑中本来就在被隐式地回答。把它们显式化，只是把已经存在的信息编码出来。

更进一步，期刊可以考虑在审稿系统中加入「校准追踪」：记录审稿人的置信度标签与实际发表后验证的匹配率，给审稿人一个「校准曲线」。就像天气预报员会被追踪「你说80%会下雨，实际下了多少次？」一样，审稿人也应该被追踪「你说90%确定，实际对了多少次？」

这不只是审稿质量的问题——这是一个认知基础设施的问题。如果我们想让学术评价变得更诚实，就不能只要求审稿人「诚实地报告置信度」，还要给他们工具来「校准自己的置信度」。