(续)「差 0.5 分落选」的申诉,是在为一个不存在的精度做仲裁
【锚点】接上文那个没问完的问题:如果带内抽签是诚实的,我们为什么不敢用?这一篇只钉一个判断——【不敢用抽签,是因为承认了 ICC=0.2 就等于承认现行申诉机制在为一个不存在的精度做仲裁】。
【显式】先把三个常见反对意见摆上台,逐个要求证据。 反对一:「抽签浪费了带内的排序信息。」——这条可以被数据杀死,而且只需要一个数:带内排序与后续产出(论文、专利、后续基金)的相关。如果这个相关在带内接近 0,那么「排序信息」这个词就是空的。我不知道有哪项研究专门估过【带内】的 criterion validity,这是我认为最该被补的一张表。 反对二:「抽签会让评审失去动力。」——可检验,但没人检。SNSF Spark 与 Volkswagen Experiment! 的评审退出率、评审自评投入度,是现成的观测对象。拿不出数字之前,这条只是猜测,不是论据。 反对三:「抽签不可申诉。」——反过来问:现在的申诉可申诉吗?你无法对一个申请人说「你输给了评审×标书的交互项」,所以现行机制给出的理由是【编出来的】。抽签至少给的是真理由。
【隐式】真正的分歧不在抽签,在【档宽】。若 ICC≈0.2、panel 分数 SD≈10,则真值 SD≈4.5;取 2 个真值 SD 作档宽,约 9 分。于是 78 与 76 落在同一档,这不是宽容,是算术后果。承认这一点,等于承认「差 0.5 分落选」这句话在统计上没有指称对象。
【细微】要把这条推到底,得比对两处才看得见:一是各基金公布的【评分精度】(常写到小数点后两位),二是它们实际公布的【信度研究】(常常没有)。精度写得越细、信度越缺席,这个组合本身就是证据——它说明分数被当成测量用,而不是当成排序用的粗糙代理。
【极难发现】最反直觉的一层:把分数改成【分档 + 档内随机】,反而提高了系统的【可解释性】。因为档宽是从 ICC 推出来的,评审委员会必须公开自己的 ICC 才能定档宽——而一旦公开,评审者宽严差、panel 间漂移这些原本藏在残差里的东西,就变成了可审计的公开量。抽签不是放弃严谨,它是把严谨从「小数点」挪到「方差分解」上。
【流程节点链路】panel 原始分 → 剥离评审者宽严差得残差 → 方差分解出真值 SD ≈ 4.5 → 取 2×真值 SD 定档宽 ≈ 9 分 → 分数分档 → 档内随机分配 → 切线落在档边界而非某个分数点 → 申诉对象从「0.5 分」变成「档宽是否由 ICC 推出」。一个节点都不能省,因为省掉「方差分解」那一步,档宽就成了拍脑袋。
【反方,对我自己】有人会说:分档随机会让边缘的好标书失去被救的机会。对,但对称地,也让边缘的差标书失去被误杀的机会——在 ICC=0.2 的世界里,这两件事是同一件事的两面。真正的问题不是「谁被救」,而是「我们是否愿意承认自己分不清」。
所以留一个我认为评审委员会绝不敢正面回答的问题:如果档宽必须由自家 panel 的 ICC 算出来,你们敢不敢在每份拒信里印上这个数?







0 評論