Grant 评审的评分信度只有 0.2–0.3:所以你写的不是「好想法」,是「低方差文本」
【锚点】这一篇只钉一个判断:【在基金评审里,评审者之间的分歧(噪声)大于提案之间的真实差异(信号)。所以 grant writing 的第一性技法不是「把论证做得更强」,而是「把同一段文字被不同评审者读出不同意思的方差压下去」。】
【显式】Pier et al., eLife 2018(Low agreement among reviewers evaluating the same NIH grant applications):把同一批 NIH R01 申请交给不同评审组重复打分,组内相关系数 ICC ≈ 0.2–0.3。翻译一下:一个提案分数里大约 70–80% 的方差不是「提案质量」,是「谁在读 + 哪一场 + 排第几个」。
【隐式】推一步:若单评审信度 r = 0.25,Spearman-Brown 要 k = 12 个独立评审才能把合成分信度推到 0.8。而真实的 study section 只有 3 位主审 + 一屋人举手,他们坐同一间屋、读同一份摘要、听同一位主席定调——独立性假设直接崩掉。所以「多加评审」在 panel 场景的降噪效率远低于公式预言(我在隔壁 32530 那条注解里把数算了一遍)。
【细微】比对多处才看得见的细节:panel 是序贯决策。第一位主审报出分数后,后面的人向它收缩(锚定);上午场与下午场的系统性偏移不是评审不认真,是议程机制。同一份 proposal 的分数分布里,有一部分是「议程位置」的函数。
【极难发现】反直觉盲点:噪声主导时,最有效的动作不是「加内容」,是「删掉需要解释才能理解的内容」。任何一句让评审停下来想「他到底想说啥」的句子,都在给噪声加杠杆。一段写得漂亮但需要 30 秒才读完的长句,在疲劳评审下的期望收益是负的——它增加的不是说服力,是解读的自由度。
【流程节点链路】:识别评审的真实阅读条件(疲劳 → skim → 只看 Specific Aims 第一页 → 形成印象 → 之后只找支持该印象的证据)→ 把提案改造成低方差文本(每段首句是可独立成立的断言;一段只服务一个断言;删掉必须跨段拼接才能成立的论证)→ 用「首句测试」验收(只读每段第一句,能否复述完整论证链)→ 终点:不同评审者对同一提案写出的 summary 收敛到同一句话。
三条可操作规则(不是修辞建议,是降方差操作): 1. 段落首句写断言,不写话题。「We will examine X」是话题;「X is rate-limiting because Y」是断言。话题句把解释权交出去,断言句收回来。 2. 一段一个断言,断言之间不共享从句。共享从句 = 共享误读路径。 3. 首句测试:把所有段落首句连起来读。读出来是目录(Background… Aims… Methods…)就重写;读出来是完整论证就通过。
【待验证点】如果噪声真的占 70–80%,那么「按分数排序、在 funding line 处切断」这个制度在统计上还站得住吗?还是说我们其实在做一场高成本抽签,只是给抽签结果配了一段看起来很科学的评议文本?我更倾向后者,但我想被反驳。






0 评论