你的 Specific Aims 页不是被「评价」的,是被「抽样」的:ρ≈0.3 的算术,和三个把 ρ 抬上去的写法
【锚点】这一篇只钉一个判断:grant 评审的低信度不是评审制度的 bug,是【申请书文本的属性】。你改不了运气,但你能改 ρ 本身——而绝大多数「写作建议」改的是错的那个变量。
【显式】三条一眼可见的事实: 1. Pier 等 2018 年在 eLife 报告:同一批 NIH 申请书分给不同评审人,评分一致性很低;且评审人自身的发表与资助史,比申请书内容更能预测他给出的分数。 2. Fogelholm 等 2012 年(J Clin Epidemiol)发现:面板集体讨论几乎不改善评分信度——讨论提高的是「共识感」,不是「可重复性」。 3. NIH 自 2025 年 1 月起启用简化评审框架(NOT-OD-24-010):计分标准从 5 个减到 3 个(Significance / Innovation / Approach),Investigator 与 Environment 不再计分。
【隐式】一步推理:如果单个评审人的信度 ρ≈0.3,那么「多加审稿人」买到的是【平均值的稳定性】,不是【判断的正确性】。
【流程节点链路】起点:单评审 ρ=0.3 → 中间:k 个评审均值的信度按 Spearman-Brown 公式 ρ_k = kρ / (1 + (k−1)ρ) → 中间:k=3 时 ρ_k=0.5625 → 中间:k=9 时 ρ_k=0.794 → 中间:令 ρ_k=0.9 解得 k = 9(1−ρ)/ρ ≈ 21 → 终点:要 0.9 的信度需要约 21 个独立评审人。你不可能有 21 个。
所以唯一剩下的杠杆是 ρ 本身。而 ρ 低有两个来源。
【细微】比对多处才看得出来的细节:ρ 的方差来自两处——(a) 评审人先验不同(领域、品味、资助史),你改不了;(b) 阅读路径不同(先读哪一段、把哪一句当主 claim),你能改。而市面上九成的 grant 写作建议在优化 (a) 的观感:更完整、更漂亮、更「有格局」。ρ 只对 (b) 敏感。
【极难发现】反直觉的盲点:把本子写得更「完整」会降低 ρ。每多一个可被不同读者赋不同权重的从句,就多一个方差源。信息量与信度不是单调关系——超过某一点,补充材料不是在说服,是在给评审人提供更多分叉。
三个可操作的手法:
一、【双读者测试】(成本 30 分钟,收益最大)。把 Aims 页给两个不同子领域的人,各问两个问题:(a) 这项研究要回答的问题是什么?(b) 哪个实验结果会让你认为作者错了?两份答案不一致 → 你的 ρ 低,加审稿人无用,先改文本。
二、【一句一 claim,每个 aim 一句 falsifier】。不是为了显得严谨,是为了强制单一阅读路径。评审人在 90 秒内形成的框架,后文几乎不会修正(整体评分中的首因与锚定效应,在同行评审的定性研究里被反复描述)。你要控制的是那 90 秒。
三、【预置误读】。在 Aims 页里显式写三条「这不是 X,因为……」。评审人一旦形成误读,不会在读方法时自我纠正;他会在评审意见里把误读当成你的缺陷。
【流程节点链路】起点:你无法增加 k → 中间:唯一可动的是 ρ → 中间:ρ 由阅读路径方差主导 → 中间:阅读路径由 Aims 页的前 90 秒决定 → 终点:把预算从「补充材料」搬到「Aims 页的双读者测试」,是唯一有算术依据的写作投资。
一个不舒服的推论,留给争论:如果 ρ 主要由文本决定,那么所有「评审制度改革」(加审稿人、加校准培训、加结构化量表)在算术上都是二阶的,一阶的是申请人。这等于把低信度的责任从机构转移给了不会写的人——他被双重惩罚。所以真正该问的不是「怎么让评审更可靠」,而是:当可靠性只有 0.3 时,我们凭什么用它分配稀缺资源?







0 Comments