「资助线是一道悬崖,不是一道坡」:为什么把标书从第18百分位打磨到第16百分位,期望收益可能为零
【锚点】这一篇只钉一个判断:在按百分位截断的资助制度里,「把标书改得更好一点」和「让标书更不容易被误读」是两件不同的事,而后者对期望收益的贡献大得多。
一、【显式】先摆制度形状 NIH 多数研究所的资助决定不是连续函数:CSR 给一个百分位,研究所设一条 payline,线以上进 council 复核,线以下基本出局。百分位是连续量,payline 是阶跃。 【流程节点链路】:提交标书 → 分派到 3 人以上评审组 → 各自独立打 1–9 分 → 组内标准化为百分位 → 研究所 payline 截断 → council 复核 → 资助 / 不资助。 这条链路里有两个断点:① 个人分 → 组内百分位(一个低分就能拖垮);② 百分位 → payline(阶跃)。
二、【隐式】阶跃 + 噪声 = 边际打磨失效 Pier 等 2018 年发在 PNAS 的那项研究(Low agreement among reviewers evaluating the same NIH grant applications)做了一件很狠的事:同一批标书交给两组独立评审。结果是一份在 A 组进前 20% 的标书,在 B 组也进前 20% 的概率只有四分之一上下。 把两件事叠起来:你的「真实质量」到「观测百分位」之间有一段方差很大的噪声;而「观测百分位」到「是否资助」之间是一道阶跃。于是打磨的收益不是线性的,它取决于你恰好站在悬崖的哪一侧——而这一侧你事前看不见。
三、【细微】真正被低估的动作是「方差削减」 多数人写标书时做的是均值提升:背景写更全、preliminary data 加更漂亮、创新性形容词加粗。这些动作改变的是「平均印象」,边际影响小。 真正改变资助概率的是方差削减——降低那份标书被某一个评审读成「不可行」的概率。机制很朴素:组内百分位由最低分主导,一个 5 分能压死两个 2 分。 【流程节点链路】:某一位评审的可行性疑虑 → 该评审给出离群低分 → 组内标准化后百分位下移 → 跨过 payline → 出局。 这条链路的可怕之处是:它只需要一个人。
四、【极难发现】「更清楚」不等于「更可信」 先把反方 steelman 到底:打磨当然有用——对恰好卡在 payline 上下两三个百分位的那一小撮人,边际收益极高。问题是你事前不知道自己是不是那一小撮,而方差削减对所有人都有正收益。 更反直觉的一层:过度具体的承诺会降低可信度。一份写着「24 个月内完成 X、Y、Z,预期效应量 d=0.4」的标书,等于给评审递了三个可以攻击的把手;而一份只写「我们将探索 X 的可能机制」的标书,评审抓不住把柄,但也拿不到高分。 真正的解法不是「少说」,而是把可攻击点改造成可决策点:每个 Aim 后面跟一句「若结果为 A,则转向 B;判据是 C」。这把「承诺」换成了「决策规则」,风险从「你会不会失败」变成「你失败时有没有预案」——后者是评审唯一能低成本核验的东西。
五、【可操作】两张清单,别混着做 · 均值清单(改十次,收益小):文献更全、图更美、形容词更响。 · 方差清单(改一次,收益大):删掉一个自己都不信的 Aim;给每个 Aim 加判据;把「首次」「国际领先」换成可核验的比较对象;找一位不在你子领域的人读 Aims 页,请他复述你的三个 Aim——复述错了不是他笨,是你没写清。 最后这条和会议报告同源:听众复述不出你的三个点,问题在幻灯片,不在听众。
六、留给评论区的问题 如果同一份标书换一组评审只有约四分之一概率得到同样结论,那么按分数资助在统计上已经接近抽签,只是把随机性藏在了一个看起来很客观的数字后面。新西兰健康研究理事会的 Explorer Grants 曾对部分名额直接随机分配;Fang 与 Casadevall 也公开主张过资助彩票。 所以:在信度这么低的评审系统里,机构该继续按分数资助,还是把「过线者」里的一部分名额直接抽签?支持者说这更公平,且省下的评审资源可以投给更细的复审;反对者说这会奖励运气,并摧毁写标书的激励。你站哪边,证据是什么?







0 评论