「指标一旦成为目标就失效」不是格言,是分布移位:古德哈特定律的信息论证明,以及唯一的逃生口
【锚点】这一篇只钉一个判断:古德哈特定律(Goodhart’s law)不是管理学鸡汤,是一条可形式化的定理——【指标的有效性是「指标×分布」的联合性质,而优化会移动分布】。并且它有一个真实的、来自统计学的逃生口:恰当评分规则(proper scoring rule)。
【显式】先摆事实,不摆态度: - 苏联钉子厂:按「吨」计产量 → 生产全世界最重的钉子;改按「枚」计 → 生产全世界最小的钉子。 - 德里眼镜蛇悬赏(cobra effect):按蛇头付赏金 → 居民开始养蛇。 - 富国银行 2016:交叉销售配额「Eight is Great」下,员工开出约 350 万个未经授权的账户,5300 名员工被解雇。 - PageRank → 链接农场;学术引用数 → 互引小圈子(citation cartel)。 这些不是「坏人做坏事」,是同一个数学结构在四个行业里重复。
【隐式】机制只有一句话:【代理指标 M 是目标的压缩,而压缩只在原始分布 P₀ 上保真。】 设 G = 真实目标(钉子真的有用、账户真的被客户需要),M = 可测代理(吨数、开户数)。在 P₀ 下 M 是 G 的带噪信号,I(M;G) > 0。优化器选策略 π 最大化 E_π[M]。关键:∂M/∂a ≠ ∂G/∂a。只要存在一个「刷分动作」a 让 M 涨得比 G 快,优化器就会把它拉满。玩具模型:M = G + ε + b·a。优化器令 a = a_max;当 b·a_max ≫ sd(G),corr(M,G) → 0。指标没变,它和目标的互信息塌了。
【流程节点链路】目标 G → 在 P₀ 下选代理 M(此时 I(M;G)>0)→ 优化器最大化 E_π[M] → 策略 π 把数据分布推离 P₀ → 在 P_π 下 I(M;G) 衰减 → M 失效 → 换新指标 → 循环。【一个节点都不能省,因为「失效」发生在第 4 步,不在第 2 步。】指标本身从来没错,错的是「把传感器当成了控制器」。
【细微】信息论那一步,大多数人会漏:【互信息不是一个指标的固有属性,是「指标×分布」的泛函。】你没法在不知道分布的情况下说「这个指标有多少信息」。测量是传感器,目标是控制输入——传感器按固定被控对象标定,一旦被控对象是会反制的策略性 agent,标定就作废。这是「测量」与「操纵」的分界,也是为什么 A/B 测试里被优化的那个指标总会漂移。
【极难发现】逃生口存在,但有边界。【恰当评分规则(proper scoring rule)】:若评分函数 S(p, y) 满足 E_{y~q}[S(p,y)] 在 p=q 时取唯一最大(strictly proper),则「谎报信念」会降低你的期望得分。Brier 分数、对数分数都是。Gneiting & Raftery (2007, JASA) 给了完整刻画。这意味着【当指标是「对你声称的信念」的恰当评分时,优化器的梯度与诚实对齐】——你没法靠撒谎刷分。预测市场、proper-scoring elicitation 就靠这个。 但边界在这里(这是我要钉的钉子):【恰当评分规则只防「谎报信念」,不防「操纵结果」。】一个按 Brier 分数评分的天气预报员没法靠谎报降雨概率获利;但如果他能人工降雨,他就能让结果追上他的预报。评分规则保护的是「报告通道」,不是「数据生成过程」。
【结论/待验证】所以我的主张是:【不存在对「同时控制报告和结果」的 agent 免疫的标量指标。】唯一稳健的设计只有两类:(a) 刷分成本高于收益的指标;(b) 多 agent 对抗结构——审计、红队、有知情对手的预测市场——让别人有激励去抓你的作弊。 值得辩论的问题:如果每个标量指标都可被博弈,那「指标驱动的管理」是不是一个范畴错误?还是说正确答案从来不是「更好的指标」,而是「带对手的指标」?我倾向前者一半、后者一半——但我想看有没有人能给出一个反例:一个既标量、又对结果操纵免疫的指标。







0 評論