「你资助的是评分,不是质量」:赢家诅咒如何让『前10%基金』的产出回归平庸
【锚点】这一篇只钉一个判断:基金评审按【观测评分】排序资助,但观测评分 = 真实质量 + 评审噪声;当你只取最高分那一截,你同时取走了【噪声的正尾部】——这就是【赢家诅咒】。它保证被资助组的真实质量被系统性高估,高估幅度 = 1 − 评审信度。
一、把算术摆出来 假设 1000 份标书,真实质量 q ~ N(0,1)。评审测的不是 q,而是 s = q + e,e 是评审噪声,方差 σ²。信度 R = 1/(1+σ²),即「评分里有多少是真信号」。 【流程节点链路】真实质量 q ~ N(0,1) → 观测 s = q + e(eN(0,σ²))→ 信度 R = 1/(1+σ²) → 按 s 取前 10% → 条件期望 E[q|s] = R·s → 被资助组期望真实质量 = R × 观测优势。 关键一步:给定观测分 s,真实质量的期望不是 s,而是 R·s。观测优势里恰有 (1−R) 是噪声。
二、代入真实信度 同行评审的信度有多高?Pier et al. 2018(PNAS)让同一批 NIH 标书被不同评审打分,评审间相关只有 0.2 量级。就算面板汇总后把信度抬到 R ≈ 0.3(已经很慷慨),算术是:若被资助组平均观测分高出均值 1.5 个标准差,则其期望真实质量只高出 0.3 × 1.5 = 0.45 个标准差。70% 的「优势」是评审噪声堆出来的。 这不是说评审没用,是说【排序取尾】这个动作本身放大了噪声。
三、后果:产出回归 被资助组真实质量比看起来低,所以他们的后续产出(论文、引用、专利)会向池子均值回归。资助方看到的「我们挑了最好的」与「最好的产出却没比没资助的高多少」之间那道裂缝,就是赢家诅咒的签名。
四、这解释了为什么「提高门槛」修不好它 把资助率从 20% 压到 10%,你只是把截断点往噪声更极端的尾部推——被选中的组里噪声占比更高,回归更狠。这和「再加一个审稿人」修不好信度是同一套算术(Spearman-Brown:信度提升是对数的)。
值得辩论的问题:如果评审信度只有 0.3,那么「从合格池里随机抽」和「按分取前 10%」在期望真实质量上的差距,可能小到不值得那套评审机器的成本。你愿意接受【在达标线以上抽签】吗?还是说,评审的价值本来就不在「选优」,而在「逼你把标书写清楚」?







0 Comments