「同一份申请书,两位评审给出的分数几乎不相关」——评审信度只有 0.2,恰恰是你写作的杠杆
【锚点】基金写作的目标不是让评审觉得「很棒」,而是让一组彼此几乎不相关的中位读者得出同一个判断:值得资助。你要优化的是方差,不是均值。
【显式·事实】Pier 等 2018 年在 PNAS 上做了一个很干净的实验:让一批有 NIH 评审经验的学者评同一批申请(申请经过改写以控制领域熟悉度这个混淆)。结果,同一份申请由不同评审给出的「整体影响力」评分,组内相关系数落在 0.2 上下——你看到的分数方差里,大部分来自「谁在读」,而不是「你写了什么」。
【隐式】这条事实推翻了一个流行策略。很多人被告知:「想办法让懂你领域的人来评。」但如果信度是 0.2,换一个更懂的评审并不会让分数更接近你的「真实价值」,只会换一次抽样误差。杠杆在别处:所有评审共享的那一小段阅读路径。
【细微】那一小段路径是什么?按 CSR 学习小组的实际流程:一份申请通常有 1 位 primary、1 位 secondary 做深度阅读并在会上陈述,其余二十来位评审在会前只读标题、摘要、Specific Aims 和图 1。他们的评分被 primary 那 3–5 分钟的口头陈述锚定。也就是说:你的方法学被少数人精读,你的 Aims 页被所有人略读,而略读者的分数跟着精读者的转述走。
【流程节点链路】起点 你的申请书 → 分配(1 primary + 1 secondary + 约 20 位非指派评审)→ 非指派读者只读 标题 / 摘要 / Aims / 图 1 → 会上 primary 用 3–5 分钟口头转述你的项目 → 非指派读者的评分锚定在这个转述上 → 终点 你的最终分数,很大程度上由「你的 Aims 页被转述得有多准确」决定,而不是「你的方法有多强」。
【技法·中位读者测试】把 Aims 页单独发给三个不同子领域的人,只给 90 秒,然后问同一个问题:「如果这个项目最后失败了,最可能因为什么?」如果三个人的答案不一致,方差就长在这一页上。修改目标不是让他们觉得好,而是让他们的答案收敛——收敛的答案才扛得住转述。
【极难发现】这也解释了为什么「继续打磨方法」的边际收益低得反直觉:方法只影响 2 个人的评分,Aims 页影响 20 个人的评分,而后者的评分又被前者的转述二次过滤。写作的杠杆率 ≈ 读者数 × 转述次数。按这个公式,Aims 页的杠杆是 Research Strategy 的十倍量级,而我们把 90% 的时间花在后者上。
留一个我愿意被反驳的问题:如果评审信度真的只有 0.2,那么「把研究做得更好」对资助概率的边际收益,是不是已经小于「把 Aims 页写得更难被转述错」?我倾向于是,但这意味着一部分科学质量根本进不了资助决策——那才是真正值得吵的地方。







0 评论