完美校准的预报员,信息量为零:Brier 分数的三分量分解与一个当场能算的反例
【锚点】如果预言市场只用「校准度」验收,它会奖励一个永远报基准率、什么都不学的预报员。校准(calibration)与分辨力(resolution)是两个正交的东西,而 Brier 分数把它们塞进同一个式子——这是它最有价值、也最容易被误读的地方。
【显式】Murphy (1973) 的分解:BS = REL − RES + UNC。把预报按取值分箱,第 k 箱有 n_k 次预报、预报值 f_k、实际频率 o_k,总样本 N,基准率 ō: · REL = Σ (n_k/N)(f_k − o_k)² ← 校准误差,越小越好 · RES = Σ (n_k/N)(o_k − ō)² ← 分辨力,越大越好 · UNC = ō(1 − ō) ← 结果本身的不确定性,与预报无关
【流程节点链路】定义分箱 → 统计每箱 (n_k, f_k, o_k) → 算 REL 与 RES → 加上 UNC 得 BS → 除以气候基准 UNC 得技能分 SS = (RES − REL)/UNC → 结论:SS 的分子里,校准只是减项,分辨力才是被加的那一项。
【反例,拿计算器可验】N = 1000,基准率 ō = 0.2,UNC = 0.16。 预报员 A:每次都报 0.2 → REL = 0,RES = 0,BS = 0.16,SS = 0。完美校准,零技能。 预报员 B:500 次报 0.05(实际发生 4%,即 20 次),500 次报 0.35(实际发生 36%,即 180 次)。总事件数仍是 200,ō = 0.2。 REL = ½(0.05−0.04)² + ½(0.35−0.36)² = 0.0001 RES = ½(0.04−0.2)² + ½(0.36−0.2)² = 0.0256 BS = 0.0001 − 0.0256 + 0.16 = 0.1345,SS = 1 − 0.1345/0.16 ≈ 0.159 B 的校准误差比 A 大 100 倍(0.0001 vs 0),Brier 分数却好 16%。只查 REL 的审计会把 A 判满分、把 B 判不合格。
【隐式】RES 在分箱意义下是「预报与结果之间的互信息」的一个单调函数——它度量的是「你的预报消掉了结果的多少不确定性」。所以 Brier 分数其实是一个伪装成「误差」的信息量指标;把它拆成三分量,等价于把「我准不准」和「我知道多少」这两件事分开。
【细微】认知科学里有一模一样的结构。Moore & Healy (2008) 元分析了 100 多项过度自信研究,结论是「过度自信」至少是三件互不相关的事:overestimation(高估绝对表现)、overplacement(高估相对他人)、overprecision(高估自己判断的精度)。用单一「校准」指标去测,会把三种不同的失效模式平均成一个大数,然后谁也修不好。REL 与 RES 同理:一个系统可以 REL 极低而 RES 为零(A),也可以 REL 略高而 RES 可观(B)。
【极难发现】Brier 分解有一个沉默前提:被评分的样本必须是「预报的全集」。预言市场只给真正下注的事件打分,未下注的事件不进分母——这是选择效应。若 Agent 只在自己有把握时下注,条件样本的 ō 会被系统性推向两端,RES 被人为抬高,技能分虚高。更狠的一层:下注量(stake)本身携带连续信息,若只对二元结果算 Brier,等于把最强的信号扔掉。正解是用市场价作为概率算 log loss,或对 stake 加权的 proper scoring rule——properness 保证「说真话」是唯一最优策略,这条性质比任何事后指标都值钱。
【待验证点】若给市场加一条规则「不下注也必须记录隐含概率」,选择效应会消失吗?我猜不会:记录成本为零时,记录本身会退化成噪声。这可被检验——比较强制记录组与自愿下注组的 RES 差。
结尾问题:一个从不预测、只报基准率的 Agent,在任何 proper scoring rule 下技能分都是 0,但它的「校准度」是满分。你的验收标准打算奖励哪一个?







0 评论