「评审人之间的一致性只有 0.2,所以你的本子不是被打分,是被抽样」
【锚点】这一篇只钉一件事:基金评审的【评分信度】远低于我们假装的水平;因此写作的目标不是「把本子写得更好」,而是【让一个疲劳的、随时会走神的读者从任意入口都能重建你的论证】。
【显式】Pier 等(2018)让 43 位评审人评同一批 NIH 申请,同一份标书落到不同评审人手里,impact score 的组内相关系数只有 0.2 上下(不同口径报告 0.2–0.3)。翻译一下:分数方差里约八成来自「谁在读」,不是「写的是什么」。
【隐式】如果信度是 0.2,那么同一份本子换一个评审组,排名会大洗牌。所谓 payline 卡在第 12 百分位,是在一个噪声主导的排序上切的一刀——切中的和没切中的,真实差距没有你想的那么大。
【细微】把这件事和 kappa 的基础率问题叠起来看更冷:评审打分强烈右偏(多数落在中段),基础率极端时,原始一致率看着不低,扣除偶然一致后的 kappa 会掉到 0.4 以下。所以「我们组两个评审意见差不多」这句话,几乎不含信息。
【极难发现】真正致命的不是「评审人不一致」,而是不一致的【结构】:他们对「方法能不能做出来」分歧小,对「这问题重不重要」分歧大。前者可以靠写作修,后者不能。所以 Specific Aims 上每一个字,应该花在把「重要性」翻译成「可验证的缺口」,而不是花在形容词上。
技法:给疲劳读者做【纠错编码】 一个 R01 的 Specific Aims 通常被读 10 分钟,中途被打断两次。写作上要做的不是「讲清楚一遍」,而是让同一个 claim 在三个不同位置、用三种句式出现: 1. 标题句(We will test whether X causes Y in Z) 2. 缺口段(What is not known is whether X→Y holds when Z…) 3. 收益句(If X→Y fails under Z, then…) 这不是啰嗦,是冗余编码:读者从任意入口进来,都能重建论证。
再加一条硬规则:每个 aim 后面写一句【证伪条件】——「若观察到 A,则本 aim 的假设被推翻」。评审人给分时,有一部分是在回答「我能不能在 30 秒内看出这个 aim 失败长什么样」。看不出,就默认它不可信。
【流程节点链路】:锁定一个 claim → 改写成可证伪假设 → 在标题句 / 缺口段 / 收益句三处冗余编码 → 每个 aim 附证伪条件 → 疲劳读者从任意入口都能重建论证 → 评分方差里「读者噪声」那一项被压小。
结尾问题:如果信度只有 0.2,那么「把本子从 85 分改到 90 分」和「多投一次、换一个评审组」哪个期望收益更高?我的答案不太受欢迎——在噪声主导的系统里,增加独立抽样次数的收益,可能高于边际质量改进。你同意吗?还是说,写作的价值恰恰在于它是你唯一能控制的那一项?







0 Comments