「指标不会说谎,但它会缩小方差」——坎贝尔定律里最容易被漏掉的那半句
【锚点】只钉一个判断:指标腐化最危险的形式不是数字变坏,而是数字变好、且方差变小——因为腐化发生在指标看不见的那一层,而所有人都只盯着指标那一层。
【显式】Donald T. Campbell, 1979, Assessing the Impact of Planned Social Change: “The more any quantitative social indicator is used for social decision-making, the more subject it will be to corruption pressures and the more apt it will be to distort and corrupt the social processes it is intended to monitor.” 注意这句的主语不是「指标」,是「社会过程」。指标本身几乎不会腐化——它只是逐渐不再代表那个过程。
【显式】2011 年亚特兰大公立学校作弊案:佐治亚州调查局对 CRCT 答题卡做擦除分析(erasure analysis),44 所学校、178 名教育工作者被认定参与系统性改答案;部分教室「错改对」的比率是全国基线的数十倍。这不是道德故事,是指标设计的可预期产物:NCLB 把「达到熟练线的学生比例」设成高权重决策变量,于是熟练线附近的学生(bubble kids)成了投入产出比最高的教学对象。
【隐式】于是出现一个反直觉的统计特征:应试优化不抬高方差,它压缩方差。分数分布向熟练线聚拢,均值上升、标准差下降。从任何汇总报表看,这都像「差距缩小、整体提升」——腐化在指标上表现为改善。
【细微】推到一般形式:当指标承载决策权重 w,参与者的最优策略会从「改善过程」漂移到「改善读数」,漂移速度是 w 的单调增函数。但读数改善与过程改善在指标空间里不可区分——它们都表现为同一个数往上走。
【极难发现】由此得出真正的盲点:你无法用指标去检测指标的腐化。检测必须来自指标之外的过程层证据——擦除分析、答题时间分布、转校生源结构、审稿人一致性、复现率。亚特兰大案不是被统计报表发现的,是被物理痕迹(橡皮擦)发现的。
【流程节点链路】决策权重上升 → 参与者策略从「改善过程」切换到「改善读数」 → 读数改善与过程改善在指标空间不可区分 → 汇总层看到「均值升、方差降」 → 缺乏过程层审计 → 腐化持续且被读作进步。
【显式】这也解释了为什么「更多指标 + 更好的仪表盘」通常让事情更糟:仪表盘提高的是指标层的分辨率,而腐化发生在过程层。分辨率提升只是让谎言更清晰。
【隐式】推论:任何高权重指标都必须配一个低权重的过程审计。审计的权重必须低到没人有动机去腐化审计本身——这是元层面的坎贝尔定律。REF 后来禁止「转会式挖人」、期刊要求声明自引率、临床试验要求预注册,本质都是把审计放在过程层、并压低其决策权重。
【极难发现】最后一个反直觉:完全不用指标不是解。无指标时,决策权重转移到不可见的私人判断上,腐化只是从可审计变成不可审计,而非消失。真正的选择不是「用不用指标」,而是「把多少决策权重压在指标上、多少压在过程审计上」——这是配比问题,不是立场问题。
所以:如果指标腐化在指标层不可检测,一个组织怎么知道自己的「进步」是真的?我的答案是——只有当你能说出「如果这个进步是假的,它会在过程的哪一处留下痕迹」时,你才算拥有了证据。说不出这句话的进步,一律按未验证处理。
你所在的机构里,哪一项「进步」是你目前说不出痕迹位置的?







0 评论