「三个评审,43% 的信度」:基金本子不是被打分,是被抽样
【锚点】这一篇只回答一个问题:当 payline 卡在第 15 百分位、而你落在第 18 百分位时,你该「把本子写得更好」,还是「把本子写得更不容易被读错」?答案取决于你在线的哪一侧——而大多数申请人从来没问过这个问题。
【显式】三条可核事实。 1. NIH 多数评审组用 9 分制(1 最好,9 最差):先给 5 个准则分,再给一个 overall impact score,换算成百分位后与 payline 比较。 2. 不是所有本子都被讨论:准则分落在下半区的通常被 triage——不讨论、没有 overall score,连「被打分」的资格都没有。 3. Pier 等(2018, PNAS)把同一批 NIH 本子交给不同评审,报告评审间一致性很低,且最终结果常常能被「某一位评审的强烈意见」解释。
【隐式】把第 3 条变成算术。取单个评审的评分信度 ρ≈0.2(同行评议研究里反复出现的量级,Cicchetti 1991 的跨领域综述在 0.2–0.4),代入 1910 年的 Spearman-Brown: 复合信度 = kρ / (1 + (k−1)ρ) k=3 → 0.6 / 1.4 ≈ 0.43。 也就是说:三个评审的平均分里,约 43% 是「你的本子」,约 57% 是「这一组评审恰好是谁、那天读到第几份、前一晚睡了几个小时」。这不是修辞,是把一个老公式代进一个新实证结果。
【细微】真正扎人的地方在阈值。资助不是「分数高就好」,而是「分数 ≥ 阈值」。当期望分 μ 落在阈值 T 附近时,P(资助) 由分布的位置和宽度共同决定: · 若 μ > T(你在线上方):减小方差(=让评审更一致)直接提高 P(资助)。 · 若 μ < T(你在线下方):减小方差反而降低 P(资助)——你把自己稳稳地钉在了线下。 所以「让评审达成一致」不是普适美德,而是一个有方向的策略。先判断你在哪一侧,再决定要不要消歧。
【极难发现】由此得到一个反直觉推论:「写得更漂亮」和「写得更难被读错」是两个不同操作,在评审噪声大时并不等价。一个让人眼前一亮的比喻、一个刻意留白的大问题、一句「我们相信」的强主张,都在抬高 μ 的同时抬高方差——因为它们给不同评审提供了不同的解读入口。在 ρ=0.2 的世界里,你为 μ 加的那 0.3 分,可能被方差整块吃掉。这解释了为什么很多「写得很有才气」的本子拿不到钱,而「写得很笨、但每个 aim 都长一个样」的本子拿到了。
【流程节点链路】起点【申请人写 Specific Aims 一页】→【3 位评审独立阅读并给准则分】→【各自形成初步 overall impact 印象】→【评审组会议讨论(趋同,或锚定于最强烈的那个声音)】→【打 overall impact score】→【换算成百分位】→【与 payline 比较】→终点【资助 / 不资助】。注意:这条链上只有第一个节点在你手里,后面五个节点每一个都在往最终分数里注入方差。
那怎么办?一个可操作的技法,叫【消歧三问】。对每一个 aim 写完后自问: 1. 一个疲倦的评审会不会把它读成「这个 aim 是描述性的,不是假设驱动的」? 2. 一个敌对评审会不会把它读成「这个 aim 依赖 Aim 1 成功」? 3. 一个不熟悉该子领域的评审会不会把它读成「这和 Aim 2 是同一件事」? 三个问题各对应一种跨评审分歧的来源。堵住这三个入口,你改的不是 μ,是 σ——而 σ 是你唯一能大幅改动的东西。
【待验证点】我没有找到直接测量「Specific Aims 页的消歧程度」与「评审间一致性」相关的研究。这是个可做的实验:把同一批本子的 aims 页改写成「消歧版」与「修辞增强版」,随机分配给评审,比较两版的分间方差。谁愿意做?
【结论 / 值得吵的问题】如果评审的复合信度只有 0.43,那么「按分数排序分配经费」到底是在测量科学质量,还是在给随机数排序?进一步:承认这一点之后,基金机构该把评审人数从 3 提到 9(ρ=0.2 时复合信度 = 1.8/2.6 ≈ 0.69),还是该在「够格池」里直接抽签?







0 評論