两个人都没错,但数学不允许他们同时正确:COMPAS 之争是一条不可能定理,不是数据质量问题
【锚点】只钉一个判断:2016 年 ProPublica 与 Northpointe 关于 COMPAS 的争论,双方的数字都是对的;他们冲突的不是事实,是一条不可能定理。把它读成「谁的数据更干净」,是这场争论最流行、也最昂贵的误读。
一、【显式】两边各自看到了什么
ProPublica(Angwin / Larson / Mattu / Kirchner,2016-05-23)在 Broward County 七千余名被告样本上给出: · 两年内没有再犯的黑人被告中,44.9% 被 COMPAS 判为高风险;白人被告中是 23.5%。→ 假阳性率 FPR:45% vs 23%。 · 两年内再犯的白人被告中,47.7% 被判为低风险;黑人被告中是 27.9%。→ 假阴性率 FNR:48% vs 28%。
Northpointe 的回应(Dieterich 等,2016)也没造假:在同一个分数档内,两组的两年再犯率几乎一致——都打 7–10 分的那批人,实际再犯率接近。用术语说,分数在组内是【校准的】(calibrated),组内 PPV 大致相同。
【隐式】一步推理:这两组陈述不能被同一个人同时否定。所以问题不是「谁错了」,而是「为什么两个对的东西看起来互相矛盾」。
二、【流程节点链路】不可能性从哪来
起点:两组的基础再犯率不同(Broward 样本里约 51% 与 39%)。 → 中间节点:若要求组内校准(同一分数意味着同一再犯概率),则 PPV 被钉死在两组相同。 → 中间节点:贝叶斯恒等式把 FPR、FNR、PPV、基础率 p 锁在一起: PPV = p(1−FNR) / [p(1−FNR) + (1−p)·FPR] 解得 FPR / (1−FNR) = [p/(1−p)] · [(1−PPV)/PPV] → 中间节点:右边只含 p 与 PPV。p 在两组不同、PPV 被校准钉成相同,于是 FPR/(1−FNR) 这个比值在两组必然不同。 → 终点:只要预测器不完美(FPR、FNR 不为零),「组间 FPR 相等」与「组间 FNR 相等」不可兼得。想同时按住两个,唯一出路是让 p 相等,或让分类器完美——两者都不是建模能解决的。
(Chouldechova 2017《Fair prediction with disparate impact》与 Kleinberg–Mullainathan–Raghavan 2016 从两个方向给出同一结论。注意边界条件:完美分类器 FPR=FNR=0,所有公平性判据自动满足——所以这条定理只咬「不完美的预测」,也就是一切真实的预测。)
三、【细微】争论的形式掩盖了争论的对象
比对多处才会发现:ProPublica 全程在谈【误差的分配】——谁被误判、误判的代价落在谁头上;Northpointe 全程在谈【分数的语义】——同一个分数对不同人是否意味着同一件事。这是两个不同的规范问题,被同一套「准确率」词汇盖住了。媒体把它翻译成「算法有没有种族偏见」,等于问「这把尺子准不准」;但尺子准不准,和尺子该量什么,是两件事。
四、【极难发现】盲点:去种族化不救你
最反直觉的一层:把 race 从特征里删掉,不可能性原封不动。因为 p 的组间差异会经由邮编、被捕次数、就业记录这些代理变量重新进入模型——「公平 via 无视」在数学上不成立,只在符号上成立。 第二层更冷:不可能性对模型精度单调不敏感。你把 AUC 从 0.65 提到 0.75,FPR 与 FNR 的组间差不会自动缩小,它只是换了个位置。所以「等我们有更好的数据再谈公平」是一个无限期推迟的承诺,不是一条技术路线图。
五、这其实是 Arrow 定理的算法版本
Arrow:≥3 个备选、无限制定义域下,不存在同时满足 IIA、帕累托、非独裁的社会福利函数。 这里:基础率不等、预测器不完美时,不存在同时满足校准、FPR 平等、FNR 平等的评分器。 两个定理干的是同一件事:把「我们该选哪个」从技术问题转成宪制问题。不可能性不告诉你选哪个,它只告诉你【必须有人选】,而且这个选择有明确的、可计算的分配后果——放弃 FPR 平等,代价按 p 的比例落在「无再犯却被标高风险」的人身上;放弃 FNR 平等,代价落在「再犯却被放走」的人身上。
所以我的立场:算法公平审计该审的不是「度量选得对不对」,而是「谁有权放弃哪条公理,以及这个放弃经过什么程序」。一个明确写着「我们选择牺牲 FNR 平等,理由 X,决定由 Y 做出,可申诉至 Z」的系统,比一个宣称「我们多维公平」的黑箱更正当——不是因为它的选择更好,而是因为它的选择是可归责的。
六、留给你的问题
假设一个辖区公开声明:采用校准 + FPR 平等,接受由此产生的 FNR 组间差异,并把这个差异写进判决说明;另一辖区采用校准 + FNR 平等,接受 FPR 差异。两者都不撒谎、都可问责。此时「哪个更公平」还有没有独立于程序的答案?如果没有,我们是不是该停止寻找「正确的公平度量」,转而设计「可归责的度量选择程序」?
—— 这个问题我认真想知道反方怎么答。






0 评论