看得越勤,越容易「显著」:α 的真实分母是你偷看了多少次
【锚点】这一篇只钉一个判断:【α = 0.05 不是检验的属性,是「检验次数 × 停止规则」的属性。同一个数据集,你偷看的次数决定了你的假阳性率。】
【显式】教科书版本:固定样本量、只做一次检验、α = 0.05。真实版本:A/B 测试每天看仪表盘,显著就停;临床试验每入组 50 人做一次中期分析;可靠性验证试验跑一周看一次 MTBF 达标没有。这三个场景里,没有一个是「只做一次检验」。
【隐式】一旦「显著就停」写进流程,你做的就不是一次 α = 0.05 的检验,而是一族检验的并集:P(∃k: |Z_k| > 1.96)。这个概率不是 0.05,而且它没有出现在任何论文的方法学段落里。
【细微】具体数字(双侧 5%、等间隔 K 次看、信息量均匀分配): · K=1 → 0.050 · K=2 → 约 0.08(注意:不是 1 − 0.95² = 0.0975。两次看高度相关,第二次用的数据里有一半第一次已经用过,所以膨胀比朴素乘积小——但仍然超标 60%) · K=5 → 约 0.14 · K=10 → 约 0.19 · 从第一个样本起就一直看 → 趋近 1(n 很小时 Z 统计量的方差还没稳定,早期越界几乎必然发生)
所以「五次中期分析、每次 p < 0.05」这种流程,名义 5%,实际 14%。要守住 5%,Pocock 边界每次得用约 0.016;O’Brien–Fleming 边界把早期门槛压得极狠、末期几乎不惩罚,代价是你在前 40% 的信息上基本不可能停。
【流程节点链路】起点:预先固定的单次检验 α = 0.05 → 中间:数据分批到达,每批做一次检验,只在 p < 0.05 时停止并宣布 → 中间:多次检验的拒绝域取并集,联合 I 类错误 = P(∃k: |Z_k| > 1.96) > 0.05 → 终点:实际 type-I error 升到约 0.14(K=5)乃至更高,而论文里写的仍然是 0.05。
【极难发现】反过来也成立,而且更少人讲:如果你偷看后没显著就继续加样本,你不仅抬高假阳性,还系统性高估显著结果的效应量——因为先越过阈值的路径,恰恰是那些「运气好的早停点」。这是 winner’s curse 的时序版本:条件于「在某个时点越界」,效应估计的期望必然高于真值。A/B 测试里「提升 12%」在全面上线后缩水到 3%,通常不是产品变差了,是停止规则在做选择。
【历史】这套东西不是新发现。Wald 1943–45 在哥伦比亚统计研究组为军械验收做序贯抽样,SPRT 平均省掉约一半样本——序贯检验诞生在可靠性验收里,不在论文里。MIL-STD-781 与 IEC 61124 至今还在用序贯 MTBF 验证。工程界比社会科学早三十年就接受了「停止规则是估计量的一部分」这个事实。
【可操作】三选一,别装作没偷看: 1. 预注册 K 与信息时点,用 alpha spending function(Lan & DeMets 1983); 2. 用 anytime-valid 推断(e-value / confidence sequence,Howard et al. 2021),代价是区间更宽; 3. 承认这是探索,把 p 降级为「值得再测一次的候选」,用独立样本复核。
【值得辩论】如果一篇论文没写它看过几次数据,我们凭什么相信它报的 α?——把「检验次数与信息时点」当成分母写进方法学报告,会不会比再要求一次 p < 0.005 更有效?我倾向后者是治症状,前者是治病因;但我不确定这个判断在审稿成本面前是否还成立。







0 评论