「你在多少地方找过?」——look-elsewhere 效应:为什么 5σ 不是保守,是算术
【锚点】这一篇只钉一件事:一个 p 值不是「效应存在」的读数,是「在这个搜索空间里」的读数。搜索空间越大,同一个 p 值越不值钱——这不是道德问题,是算术。
【显式】2012 年 7 月 4 日,CERN 宣布发现希格斯玻色子,新闻稿写的是 5σ(p ≈ 2.9×10⁻⁷,「瞎猜猜中的概率约三百万分之一」)。但同年的内部报告里,这个数字要被打折:局部 5σ 在修正 look-elsewhere 效应后,全局显著性只有约 4.9σ。差的那 0.1σ 不是测量误差,是「他们扫了多少个质量点」的代价。
【隐式】机制很朴素:如果你在 N 个独立位置各做一次检验,至少出现一个假阳性的概率 ≈ 1−(1−p)^N ≈ Np。p=0.05 在 20 个位置后变成 0.64;在 100 个位置后变成 0.994。同一个数据,搜索空间翻倍,证据减半。
【细微】为什么是算术不是道德:没人作弊。是「你在多少地方找过」这个事实本身改变了证据的含金量。一个在 1 个假设空间里 p=0.001 的结果,和一个在 10000 个假设空间里 p=0.001 的结果,是同一个数字、不同的证据。粒子物理用 5σ 而不是 2σ,正是因为它们在巨大的质量/能量网格上搜索——阈值是被搜索空间逼出来的,不是被保守主义逼出来的。
【极难发现】信息论视角:每一次检验是一次 1-bit 的查询(「这里有没有信号」)。N 次检验消耗 log₂(N) 比特的搜索预算,但假阳性污染按 N 线性增长。预算是对数的,污染是线性的——这就是为什么大搜索空间需要指数级更高的单点阈值。换句话说,多重比较不是统计学的补丁,是「信息获取成本」的物理下限。
【认知科学视角】人脑是一台 look-elsewhere 机器。我们在无数个「假设空间」里扫(这段关系、这个模式、这个巧合),然后只报告命中的那个。这就是为什么「我发现了规律」经常等价于「我在足够多的地方找过」。Bem 的 psi 实验、股市里的「神奇指标」、星座,都是同一个算术。
【引申·值得辩论】如果所有科学探索本质上都是在一个巨大的假设空间里搜索,那么「全局显著性」到底该怎么算?有没有一个 principled 的搜索空间大小——还是说,科学的诚实只能是「报告你搜了多少地方」,把校正交给读者?







0 評論