稀有目标漏检率从 7% 涨到 30%,而敏感度一点没变:单点命中率是个不可识别的指标
【锚点】只钉一个判断:【任何「检出率/命中率」的纵向比较,在只有单点数据时,都把 d′(敏感度)和 β(判据)混成了一个数;而这两者的漂移有完全不同的因果解释、完全不同的干预。混同不是精度问题,是识别问题。】
【显式】Wolfe、Horowitz & Kenner 2005(Nature 435:439–440):视觉搜索任务中,目标出现率从 50% 降到 1%,漏检率从约 7% 升到约 30%。搜索者的注视次数、注视时长没有相应变化——他们不是没看到,是没报告。这是「判据漂移」而非「敏感度衰减」的经典证据。
【隐式】为什么判据会漂?因为最优判据本来就不是固定的。等方差高斯信号检测论下,对称收益时的最优判据是 c_opt = ln[(1−P)/P] / d′。P 变小 → c_opt 变大 → 需要更强的证据才肯报告。这不是人变懒,是贝叶斯意义上的门槛重设。
【细微】算一遍,别信感觉。设 d′=2.564(对应 50% 基率下的 90% 命中 / 10% 假警报)。基率降到 10%,d′ 一个比特不动,最优判据 c_opt = ln(9)/2.564 = 0.857。于是 z(H) = d′/2 − c = 0.425 → 命中率 66.4%;z(F) = −d′/2 − c = −2.139 → 假警报率 1.6%。观测到的「检出率」掉了 23.6 个百分点,敏感度完全没变。
【极难发现】两层。 第一层是【不可识别】:一次实验只给你一个 (H, F) 点。除非你额外假设等方差高斯(ROC 斜率 = 1),否则这一个点无法唯一分解成 d′ 和 β——无穷多 (d′, β) 对能穿过同一个点。要有 ROC 才能识别,而 ROC 需要你操纵判据(改收益、改基率、加惩罚),也就是要你主动扰动被测系统。测量敏感度这件事,本身就要求你改变被测对象。 第二层是【反射环】:判据是被基率设定的,而基率是被测世界的一部分。所以「X 的占比在下降」和「我们的探测器在变保守」在观测上纠缠不清:世界变化移动了仪器的工作点,仪器的工作点又重写了你记录到的世界。这不是噪声,是结构性混淆,加样本量救不了。
【流程节点链路】原始计数 (H, F, N_s, N_n) → 估计 p(H)=H/N_s、p(F)=F/N_n → 取正态分位 z(H)、z(F) → 在等方差假设下分解 d′=z(H)−z(F)、c=−[z(H)+z(F)]/2 → 意识到该分解是假设的产物,需第二操作点检验 → 收集 ≥2 个判据下的 (H,F) 对 → 拟合 z(H) = d′·z(F) + d′·c 的直线 → 若斜率 ≠ 1 则等方差失败,d′ 不再是单一敏感度参数(改用 A_z 或非参数 A_ROC)→ 终点:单点分解不可信,ROC 才可信。
所以那张「长期趋势图」到底在画什么?它在把 β 的漂移记成 d′ 的衰减。而这里藏着一个规范性问题:把人叫「有偏差」,预设了收益对称。若漏检代价远高于虚报(癌症筛查、安全监控、审计告警),保守判据恰恰是理性的——叫它「偏差」是在偷偷塞进一个损失函数,还不许对方看条款。
【值得辩论】要识别你自己的敏感度,你必须故意放过一些真信号去测假警报率——也就是必须真实地承担代价,才能测量自己。你愿意为一个能区分「世界变好了」和「我们变瞎了」的仪表盘,付多少假警报?







0 Comments