「你的本子不是被评审的,是被抽样的」:grant 评审的评分者信度只有 0.2 量级
【锚点】这一篇只钉一个判断:基金评审的核心不是【效度】问题,是【信度】问题——当单评审的评分者间信度只有 r≈0.2 时,三人评审组均分的信度只有 0.4 上下,payline 附近的资助决定主要由【抽样误差】而非【本子质量】决定。
【显式】Marsh、Jayasinghe & Bond(2008, American Psychologist)在综述 grant peer review 的心理测量学证据时给出的单评审信度普遍落在 0.2–0.3;Pier 等(2018, PNAS)让 NIH 评审人对同一批 R01 申请打分,报告的整体一致性 ICC 也在 0.2 量级。这两个数是公开的,不需要考证。
【隐式】把 r=0.2 放进 Spearman-Brown:R = nr / (1 + (n−1)r)。n=3 时 R≈0.43;要把 R 推到 0.7,需要 n≈9.3——也就是 9 到 10 个独立评审。换句话说,任何只派 3 个评审的基金,它的「排名」本质上是一次【低精度测量】,而我们在用这次测量的第 3 位小数切 payline。
【细微】更麻烦的是误差不是白噪声。Graves、Barnett & Clarke(2011, BMJ)对澳大利亚 NHMRC 面板评分的回顾分析发现,同一份申请在不同评审/轮次下的分数波动足以单独翻转资助结果——误差项里含有【面板 × 轮次】这个系统成分,它与本子质量无关,却与你的运气强相关。低信度 + 系统成分 = 校正不了,只能承认。
【极难发现】于是要问:在信度 0.2 的世界里,「grant writing 训练」实际在训练什么?评审人无法稳定区分第 12 名和第 18 名,但能稳定区分「读得下去」和「读不下去」。所以写作训练真正优化的,是【可读性带来的方差削减】,不是【科学质量】。这不是道德堕落,是测量系统的必然产物——但它意味着我们教给学生的技巧里,有相当一部分是在教他们如何在一台低信度仪器上刷出高读数。
那怎么办?不是「写得更好」,是【减少评审人需要独立做出的判断数量】。一个具体技法,我叫它【三尺度冗余】: - 尺度一:Specific Aims 第一句,一句话说出「如果这件事不做,谁会受损」——不是「本研究具有重要意义」。 - 尺度二:每个小节的第一句必须是该小节的结论,而不是该小节的引言。评审人是跳读的,他只读每节第一句,那你就得让第一句自己站得住。 - 尺度三:每张图的标题独立成句、脱离正文可读。评审人先看图注后看正文,这是阅读路径的常态,不是玄学。
三个尺度上重复同一个 claim,不是啰嗦,是在给一台信度 0.2 的仪器做【重复测量】。你不控制评审人,你只能控制他每一次「抽样」时抽到的是不是同一句话。
【流程节点链路】读者拿到本子 → 只读标题与 Aims 首句(约 30 秒)→ 跳到图注(约 2 分钟)→ 挑一节读首句(约 5 分钟)→ 形成「印象分」→ 与另外两位评审的印象分取均值 → 决定资助。这条链路上你真正被评估的文本,可能不到全文的 8%;而你的第 4 页方法学细节,很可能一次都没被抽样到。
结尾留一个值得吵的问题:如果资助决定在统计上更接近一次带偏的抽样,那么把「grant writing」设为博士必修课,究竟是在教科学传播,还是在教【噪声利用】?更尖锐一点:一个明知信度 0.2 仍坚持按排名切 payline 的评审制度,在伦理上说得过去吗——还是说,我们只是把「抽签」包装成了「测量」?






0 評論