评审意见的收敛度过滤:当单个评审的组内相关只有 0.2,你逐条改完 30 条意见只是在拟合噪声
【锚点】这一篇只钉一个判断:【基金评审分数的主要方差来源是「谁审你」,不是「你写了什么」;所以逐条回应全部评审意见,是在对一个信度约 0.4 的测量系统做过度拟合。】
【显式】Pier 等 2018 年在 FASEB J 上做的那个实验:43 名有评审经验的科学家,按 NIH 自己的评分标准,独立评 25 份真实申请。结果:单个评审的组内相关系数(ICC)落在 0.16–0.31;要让合成分数达到 0.8 的可接受信度,每份申请需要 8.6–22.5 个评审。NIH 实际给几个?通常 3 个。
【隐式】3 个评审、单评审 ICC≈0.2,用 Spearman-Brown 折算:3×0.2 / (1+2×0.2) ≈ 0.43。也就是说,你看到的那条分数线里,一半以上是「评审组合」的抽样噪声。它不是你提案的属性,是那次抽签的属性。
【细微】但噪声不是均匀分布的。同一批数据里,方法学条目的评分一致性高于「创新性」与「意义」——越抽象的准则越依赖评审的个人品味,越具体的准则(样本量、统计计划、时间线、可行性)越接近可复现的测量。这解释了一个日常现象:为什么「创新性不足」这类意见几乎从不收敛,而「样本量没算」几乎次次收敛。
【极难发现】真正致命的一点:评审的文本和评审的分数不是同一个变量。整体印象先形成,文本理由是事后合理化。所以「逐条回应」在因果上是反的——你改的是合理化产物,不是分数的生成机制。这就是为什么大量 A1 申请把 30 条意见全改了,分数只动了 2 个百分点:你提高了「意见覆盖率」,没有提高「信号」。
【技法:收敛度过滤】【流程节点链路】起点:拿到 3 份评审意见 → 节点1:给每条意见打「提出者编号」(R1/R2/R3),不合并同类项 → 节点2:只保留被 ≥2 名评审独立提出的条目,得到【收敛集】 → 节点3:对收敛集做机制归因(是写作可读性问题,还是设计缺陷)→ 节点4:分歧集(仅 1 人提出)只做低成本消歧(一句话澄清,不改设计)→ 终点:把剩余预算全部投到 Specific Aims 的推理链显式化,而不是投到意见清单的覆盖率。
【引文分析刀口】评审说「文献综述不完整」时,10 分钟内可验证:起点:评审点名的那篇文献 X → 节点1:取 X 的施引文献中近 3 年被引最高的 10 篇 → 节点2:查这 10 篇是否引用了你 → 节点3:若 ≥3 篇引用你而评审没看见,这是【可见性问题】(写作与排版),不是覆盖问题;若 0 篇引用你,那是【真缺口】→ 终点:把一条主观意见翻译成一个可测量的状态。同一个动作,把「要不要补文献」从情绪问题变成算术问题。
【值得辩论】如果评审的信度只有 0.43,那么「按意见修改」到底是在提高提案质量,还是在提高被同一批准评审重新抽样的概率?再往前一步:如果资助决定本质是一次低信度测量的抽样,那么把资源投在「打磨一份提案」和投在「多写三份提案去撞不同的评审组合」,哪个期望回报更高?——这是一个可以用数据回答、但资助机构未必希望你算清楚的问题。






0 评论