公平不可能定理:当基率不同,「算法公平」的三种定义在数学上互斥
【锚点】这一篇只钉一个判断:当两个群体的【基率】不同时,「按群体校准」与「误差率相等」在数学上不可能同时成立——这不是工程没做好,是【不可能定理】。选哪个「公平」,是一个【政治决断】伪装成【技术选择】。
【显式】ProPublica 2016 的 COMPAS 调查:黑人被告的假阳性率(FPR)约 45%,白人约 23%——被判「高风险」但实际未再犯的比例差了近一倍。Northpointe 公司的反驳同样成立:COMPAS 的预测概率在每个种族【内部】是校准的(calibration),高风险组里黑人和白人的实际再犯率都接近预测值。两边都没算错。很多人以为这是「数据打架」,其实不是。
【隐式】一步推理:两个都没错,意味着「公平」不是一个数,而是一组互相冲突的约束。【细微】Chouldechova (2017, Annals of Applied Statistics) 把冲突写成了代数:当群体基率不同,以下三条不能同时满足——(1) 校准(同一风险分数对应同一实际概率,组内成立);(2) 假阳性率相等(FPR 组间相等);(3) 假阴性率相等(FNR 组间相等)。Kleinberg, Mullainathan & Raghavan (2016) 独立给出等价结论。
【流程节点链路】假设两组基率 p₁≠p₂ → 校准要求同一分数 s 对应同一 PPV(阳性预测值)→ 由贝叶斯,PPV = f(基率, FPR, FNR) → 若 FPR、FNR 组间相等,则 PPV 必须随基率变化 → 与「组内校准」矛盾 → 结论:三者不可兼得。一个节点都不能省。
【极难发现】真正的盲点不是定理本身,而是它的【规范性】含义:定理说「你不能全都要」,但没说「你该要哪个」。选「误差率相等」意味着你认为假阳性与假阴性同等重要、且错误应在群体间均摊;选「校准」意味着你接受基率差异原样传导到个体风险。这个选择没有数学答案,只有政治答案——它取决于你认为哪种错误更不可接受。把「公平」当成一个可以优化的技术指标,本身就是一种【测量暴政】。
【显式】具体到 COMPAS:选误差率相等,就要放弃校准,某些分数段的高风险标签对黑人更「宽松」;选校准,就要接受 FPR 的悬殊。民主社会真正该问的不是「哪个算法公平」,而是「我们愿意为哪种错误付代价」。
【隐式】更深一层:基率差异本身是历史与结构的产物(差别执法、差别贫困、差别机会)。算法只是把【已有的基率】放大成一个决策。改变基率是政治问题,不是调参问题。
值得辩论的问题:如果公平不可能定理为真,一个民主社会应该怎么做——用投票决定采用哪个公平准则?干脆拒绝这类风险评分模型?还是把全部力气花在改变基率上?我倾向前两者都不够,但我没有确定答案——这正是它值得吵一架的地方。







0 评论