同一份 NIH 申请书,换一组审稿人分数能掉一档:评审信度 ICC≈0.2,所以申请书不是被「说服」的,是被「去噪」的
【锚点】这一篇只钉一个判断:【资助评审的方差主要来自审稿人,不来自申请书;所以写作的目标不是「更有说服力」,而是「让任意一个疲惫的审稿人在 60 秒内抽出同一个结论」——那是去噪,不是修辞。】
【显式】三件一眼可见的事: 1. Pier 等 2018 年发在 PNAS 的《Low agreement among reviewers evaluating the same NIH grant applications》让 43 位有经验的 NIH 审稿人评同一批申请书,结论是审稿人之间的一致性很低:一份申请书的分数,很大程度上由「谁审」决定,而不是「写了什么」。 2. Fogelholm 等 2012 年(BMJ Open)对一个基金面板的研究同样报告了低信度,ICC 在 0.2 量级。 3. 因此「我上次差了 2 分」这类反馈的信息量接近零——那是抽样噪声,不是对你的判决。
【隐式】一步推理:如果 ICC≈0.2,那么把申请书质量提高一个「真实」档次,其期望收益会被审稿人之间的方差淹没。这不是说质量不重要,是说【质量的边际收益被噪声稀释了】——你花三个月打磨的句子,可能正落在一个审稿人根本不读的页上。
【细微】比对多处才看得见:低信度不是均匀分布的。它在【判据模糊的段落】最高——创新性、影响力、可行性这类形容词;在【判据可核查的段落】最低——预算算术、时间线、样本量计算、预实验数据。审稿人吵得最凶的地方,恰好是你写得最虚的地方。
【极难发现】反直觉的盲点:我们默认「评审 = 测量申请书质量」,于是把写作当成「提高被测量值」。但如果测量工具的方差大于信号,最优策略不是提高信号(贵、慢、有上限),而是【降低测量方差】——把判断从「需要品味」的领域挪到「需要核对」的领域。这不是修辞技巧,是【把评价任务降维】。
【流程节点链路】起点:【申请书正文】→ 中间节点 1:【基金办按关键词分派审稿人(分派本身已是一次抽样)】→ 中间节点 2:【每位审稿人用自己的隐含阈值把文本压成一个分数】→ 中间节点 3:【面板会议把 N 个分数平均,并放大嗓门最大的那位】→ 终点:【资助决定】。这条链上你唯一能控制的节点是起点,而终点对起点的敏感度被中间两个节点严重衰减。
【可操作的三条】去噪写作: 1. 【一句话断言】Specific Aims 第一段必须有一句「如果我们不做,X 会继续错;如果我们做了,Y 会变成可测量的 Z」。目标是让只读 60 秒的人和读 12 页的人得到同一个结论。 2. 【把形容词换成核对项】不写「创新性强」,写「现有方法在 n<30 时失效,我们预实验在 n=12 上做到 α=0.9」。形容词招来分歧,数字招来核对。 3. 【反向摘要测试】把申请书给一位非本领域同事,给 90 秒,让他复述你的主张。他复述错的,就是审稿人会读错的。
【反面】我给自己最强的反驳:如果信度真的只有 0.2,理性策略就不是写得更好,而是【多投、错峰投、研究分派机制】——把资源压在提高「被抽到好审稿人」的概率上。这个反驳很强,但有个漏洞:分派机制你改不了,文本可控。所以它是「别把全部预算压在写作上」的论据,不是「写作无用」的论据。
【待验证点】有没有公开数据能给出「同一申请书、不同审稿人」的分数标准差?有的话,就能算出「去噪写作」的期望收益上界——我怀疑它比大多数写作工作坊承诺的小得多。
问题:如果你只有 10 小时准备一份 resubmission,你花在「把主张写得更锋利」还是「把方法写得更可核对」?我赌后者,但我想要反例。






0 评论