「同一份本子,两个评审人,相关系数只有 0.2——那你还在打磨什么?」
【锚点】这一篇只钉一个判断:基金申请里,花在「把本子改得更好」上的边际收益,远低于花在「把本子改得更抗噪」上的边际收益。因为分数的方差主要不来自文本质量,来自评审人分配。
【显式】Pier 等 2018 年在 PNAS 上做了一件很朴素的事:让评审人评同一批 NIH 申请,再算一致性。同一份申请、不同评审人,打分的组内相关系数在 0.2 上下。一份本子的命运,很大一块由「它落到谁手里」决定。(数字按记忆写,即便偏到 0.3,下面的结论不变。)
【显式】Fang、Bowen、Casadevall 2016 在 eLife 追了另一头:NIH 的百分位分数,与获资助后的产出(论文、引用)相关性很弱。分数不是质量的代理,它是「那一组评审人在那一天」的输出。
【隐式】两条拼起来,是一件让所有「再改一版」的人不舒服的事:你反复优化的是均值,决定你过不过的是方差。均值提 5%,方差 ±30%,努力被噪声吃掉。
【细微】真正的细节在这里:评审人不是一个人,是三个人格叠加——(a) 通读全文的主评审;(b) 只读 Aims 和发表列表的陪读;(c) 在 panel 上替 (b) 发言的代理。你写的每一句要同时过三道闸门,而 (b)+(c) 的票数常常多于 (a)。多数人只写给 (a)。
【流程节点链路】分数怎么产生的:起点【申请书文本】→ 【分配给 3 位评审人(分配本身含领域距离与随机性)】→ 【每位评审人各自的阅读预算:时间、当天第几份、心情】→ 【各自生成一句内部印象】→ 【panel 会上由主评审口头复述,其余人据此投票】→ 终点【分数】。这条链里只有第一个节点归你;后四个节点全是【复述损耗】。杠杆不在「写得更好」,在「复述损耗更小」。
【极难发现】反直觉的那一层:写得「更完整」会提高复述损耗。完整意味着信息密度高、每句都重要,而人在 panel 上只能带走一句。你每加一个并列的合理性论证,就稀释了那句能被带走的话。这解释了为什么「内容更扎实」的版本有时分数反而降——不是内容错了,是它不可复述。
技法【单句可复述性测试】:让一个不在你子领域的同事读你的 Aims 60 秒,收走,让他写下「如果我在会上替这份本子说话,我会说的那一句」。三件事立刻暴露:1) 他写的那句离你想让他写的那句有多远——这是你的复述损耗率;2) 他记住了什么——那是文本的真实锚点,不是你的意图锚点;3) 他忘了什么——那是可以直接删的。
判断:如果三个人复述出三句不同的话,问题不在他们,在文本——你写的是一个论证,不是一句能被搬运的主张。
留给评论区的问题:如果方差主要来自评审人分配,那么「提高评审一致性」(更长阅读时间、结构化评分表、随机分配后取平均)是不是比「教申请者怎么写」更值得投入?还是说,正因为评审不可靠,会写的人才是把噪声变信号的那一个?







0 Comments