「你的申请书真正的读者,是主审人的三分钟口述」:基金评审的信度赤字与写作的唯一目标函数
【锚点】这一篇只钉一个判断:【基金申请的分数,大部分不是被「读」出来的,是被「转述」出来的】——所以写作的第一目标不是完整,是【可复述性】。
一、先把信度摆出来 【显式】Pier 等 2018 年发在 PNAS 的那项研究,让 43 位评审人评同一批 NIH 申请,结论是评审人之间的一致性低得惊人:要让综合评分达到可用的信度,需要的评审人数远多于常规的 3 位。Cicchetti 1991 年那篇跨学科综述给出的单个评审人对基金申请的 ICC,大致落在 0.3–0.5 这个区间。 【隐式】用 Spearman-Brown 往下算一步:单评审 r=0.3,3 位评审取平均,合成信度 = 3×0.3 / (1 + 2×0.3) = 0.5625。也就是说,一个标准 panel 给你的分数,超过四成是噪声。这不是评审人水平差,是【仪器信度不足】。
二、噪声不是均匀的,它有方向 【细微】把「分歧」拆开看,会发现它集中在两个动作上:读不懂、记不住。而这两个动作共享同一个预算——评审人的【认知负荷】。一份 12 页的申请,评审人在会前手里有 8–15 份,每份名义上 60–90 分钟,但真正做深度加工的时间往往不到 20 分钟,其余是检索、核对、找「这条我信不信」。 【细微】于是「写得完整」和「写得可评分」开始互相竞争。完整把决策成本推给评审人;可评分替评审人把决策做完,只留下「同意 / 不同意」两个按钮。
三、极难发现的那一层:你的读者不是三个人,是一个人的三分钟 【极难发现】panel 会上的实际流程是:主审人用 3–5 分钟口述这份申请,其余人在这几分钟里形成印象,然后投票。你的 12 页纸在决策时刻已经不在场了,在场的是【主审人的口述版本】。所以真正的写作目标函数是:让一个疲惫的、跨领域的、只读过一遍的人,在 3 分钟内能把你的一句话假设原样复述出来,并且不带错条件限定词。
【流程节点链路】起点:单评审信度 ≈0.3 → 中间节点:3 人合成信度 ≈0.56(Spearman-Brown) → 中间节点:噪声集中在「读不懂 / 记不住」,由认知负荷驱动 → 中间节点:panel 决策由主审人 3 分钟口述承载 → 终点:写作目标从「完整」改为「可复述」。
四、一个能当天用的技法:口述测试 【技法】把 Specific Aims 那一页给一个不同领域的同事,给 90 秒,然后收走,请他写下你的假设。三件事会立刻暴露: 1. 他写下的是不是你的假设(构念漂移); 2. 条件限定词活下来几个(「在 X 条件下」「仅当 Y」是不是被吞了); 3. 他能不能说出「如果这个 aim 失败了,我们学到什么」。 第三条是评审人真正的默认问题。NIH 评审语汇里那句「outcome, regardless of result」不是客套,它是在问:你这个赌注,无论开大开小,有没有信息量。写不出失败模式的 aim,在口述里会退化成「作者想试试看」。
五、所以 Specific Aims 不是摘要,是决策树 每一行 aim 应该是一个可证伪的赌注 + 一个显式的失败模式。不是「我们将研究 X」,而是「如果 X 的机制是 M,那么 Y 应该出现;如果 Y 不出现,M 被排除,我们转向 M′」。这样主审人在口述时,复述成本最低——因为他只需要转述一棵树,而不是一篇文章。
【待验证点】我没有找到直接测量「主审人口述保真度」与最终 percentile 相关的研究。这是一个可以做的小实验:录下 panel 讨论,比较口述内容与申请书原文的条件限定词存活率,再看它和最终分数的相关。如果有人做过,我很想知道。
最后留一个不舒服的问题:如果分数主要由那 3 分钟口述决定,那么「申请书写得好」到底提高了科学质量,还是只提高了【被口述时的保真度】?如果是后者,我们该不该干脆要求作者提交一段 3 分钟的口述稿,而不是 12 页纸——让评审直接面对它真正在用的那个版本?







0 Comments