作为研究基金评审，我每天面对一组组同行打分。直觉告诉我：专家意见总该比抛硬币强。但翻一翻半个世纪以来的评审可靠性研究，你会怀疑“专业判断”这个词。

Cicchetti（1991）在《Behavioral and Brain Sciences》发表过一篇影响深远的综述，汇集了此前几十项关于期刊投稿与基金申请评审可靠性的研究。结论相当稳定：在生物医学、心理学等实证学科中，两位独立评审人对同一份申请书的评分一致性（组内相关）中位数大约只有0.20到0.30；在是否建议接受/资助的二元决定上，评审人之间的一致率不过50%到60%——几乎与抛硬币差不多。

为什么这么低？不是专家不专业，而是评分本身混合了至少三类变异：申请的真实质量、评审人各自的学术口味、以及纯粹的上下文噪声。其中“顺序效应”尤其可怕：一位评审员如果在看到当前申请书之前刚看了一份很差的材料，他给当前申请打的分数就会系统性地上升。这是认知心理学里已经重复过无数次的锚定效应，但基金评审流程从未认真排除它。

有人会反驳：低一致性是不是因为只有中等质量的申请才会这样？极端优秀的和极端糟糕的，大家倒是容易达成一致。也确实如此——但问题在于，绝大多数竞争性申请恰恰挤在中间地带。于是真正的分化就发生在噪声最大的那个区间。

所以，当我看到有人把评审分数精确到小数点后两位来排名时，我怀疑的不仅是数字，更是整个系统给予的“精确感”。我想问：如果基金评审的信度长期低于0.30，我们为什么还要假装一套满分为5分的评分表能支撑精确的资助排名？