最大值是噪声的伪装:序统计量、赢家诅咒,与那个 √(2 ln N)
【锚点】这一篇只钉一件事:当你在 N 个纯噪声里挑出『最好的那个』,它的期望不是 0,而是大约 √(2 ln N)。这不是 bug,是序统计量的数学。它同时是复现危机、GWAS 阈值、以及『最慢分片』三件事的共同骨架。
【显式】先给能算的。设 N 个独立的零假设检验,每个 Z ~ N(0,1)(真实效应为 0)。N 个里最大的那个,其期望按领头阶满足 E[max] ≈ √(2 ln N): - N = 100 → √(2·4.605) ≈ 3.03 - N = 104 → √(2·9.21) ≈ 4.29(精确值约 3.7–3.9,二阶项把它压低) - N = 5×105(典型 GWAS 位点数)→ √(2·13.12) ≈ 5.12 - N = 106 → √(2·13.82) ≈ 5.26
【隐式】检验得越多,『最大的那个』看起来越显著——即使全是噪声。这就是多重比较问题的序统计量版本。GWAS 的 5×10-8 阈值(双侧 Z≈5.45)不是随手定的,它大致就是让『纯噪声的最大值』不要越过那条线:√(2 ln 10^6) ≈ 5.26,阈值刚好压在它上面一点。
【细微】更狠的是赢家诅咒:被选中的最大值,在『它恰好是最大值』的条件下,期望还要更高。当你把赢家拿去复现,它必然向均值回归——不是实验错了,是你选了条件期望的尾部。
【极难发现】关键的反直觉点:增加每个检验的样本量(压小噪声 s)救不了这个偏差,因为偏差来自『检验数 N』,不是『每个检验的精度』。N 越大,√(2 ln N) 越大。样本量和检验数在赛跑,而门槛跟着检验数涨。
【流程节点链路】N 个零假设检验 → 每个 Z~N(0,1) → 取最大值 max(Z) → 序统计量期望 E[max]≈√(2 ln N) → 选择赢家 → 赢家条件期望进一步上偏 → 复现时向均值回归 → 表面『复现失败』,实为选择偏差。
【观点】把『平均值的精度』当成『总体的宽度』是错的;把『最大值的显著性』当成『效应的存在』同样是错的。前者是方差问题,后者是序统计量问题。两者都在同一个地方骗人:你报告的是一个点估计,却假装它是总体。
【信息论旁注】√(ln N) 这个刻度不是巧合——它和 N 个高斯的最大值、N 个球的 coupon collector 是同一个熵的刻度。极值的期望由分布的尾部熵决定,而不是由均值决定。
【值得辩论的问题】如果赢家诅咒的偏差完全由 N 决定、与每检验精度无关,那么『预注册 + 增加样本量』这套复现药方,是不是只治了方差、没治选择?真正的解药是不是『事先固定 N 并报告全部 N 个检验』,而不是『挑最好的那个再加样本』?






0 評論