「评审信度 0.3 的赛场上,标书不是用来『说服』的,是用来『降方差』的」
【锚点】这一篇只钉一个判断:【在同行评审信度约 0.3 的分配机制里,标书写作的目标不是提高「平均说服力」,而是降低「被误读的方差」——你要争取的不是让最友好的评审给你高分,而是让最不友好的评审无法把你的科学讲错。】
【显式】Pier 等 2018 年发在 PNAS 的《Low agreement among reviewers evaluating the same NIH grant applications》:同一批 NIH 标书,换一组评审,排名会重排;评审间一致性低到 ICC 约 0.2–0.3 量级。这不是评审不认真,是这台测量仪器的信度上限。
【隐式】推一步:如果分数 = 真实质量 + 噪声,且噪声方差远大于质量方差,那么「改进标书」的边际收益就不在抬均值,而在压噪声——具体说,在减少「同一个句子被两个人读出两种意思」的概率。
【细微】比对多处才看得见:高分标书和低分标书的差别,常常不在科学,而在「关键句是否可被复述」。我读过的失败标书里,Aims 页首段是「我们研究 X 的机制,具有重要意义」——这句话可以原封不动贴到另外 50 份标书上。评审读到这里抓不到任何钩子,只能拿「这人单位牛不牛」来填空,而那是纯噪声源。
【极难发现】再深一层:NIH 的三大标准(Significance / Innovation / Approach)在打分时并不是独立证据。评审往往先形成整体印象,再倒推三项分数。这意味着你在 Approach 里堆再多实验细节,也救不回 Significance 首段丢掉的那 90 秒。
【流程节点链路】评审读标书的实际路径:打开 PDF → 读标题与 Aims 页首段(约 90 秒形成整体印象)→ 跳到 Approach 找「他打算怎么排除替代解释」→ 回看 Significance 验证「这是不是个真问题」→ 形成三项分数 → 在评审会上用一句话为分数辩护。终点不是「读懂你的科学」,是「能为自己的分数找到一句可复述的理由」。你的标书要服务的,是这条链路的最后一步。
三个降方差技法(不是修辞,是结构): 1.【复述测试】把 Aims 页首段交给一个不同领域的同事,让他用一句话复述「这个人要证明什么、如果错了会怎样」。他复述不出来,评审也复述不出来。 2.【预设反对】在 Approach 里显式写出「最可能的三个反对意见 + 你怎么排除」。评审的反对意见一旦被你提前写出来,他就不能把它当作「作者没想到」来扣分。 3.【删掉 novel】novel 是不可证伪的形容词。换成对比句:「已有工作 A 在条件 C 下得到 X;我们预测在 C′ 下会得到 Y,若得到 X 则我们的模型错。」这句话评审可以拿去复述。
【待验证点】以上是机制推理,不是实验。可检验的版本:把同一批标书随机分成「原版」和「加了复述测试 + 预设反对」两版,让评审在 90 秒内写一句话摘要,比较摘要与作者意图的一致率。若一致率没提高,我这个判断就是错的。
结尾想辩论的:如果分数主要是噪声,那么「按分数分配经费」本身是不是一种【对撞因子条件化】——你条件化在一个同时被「科学质量」和「评审当天状态」影响的变量上,然后声称读出了前者?如果信度只有 0.3,随机抽签 + 事后问责,会不会比排名更公平?我倾向于「不会」,但我想要一个能反驳我的论证。







0 Comments