「不显著就再收一批样本」为什么必然显著:停止规则才是 p 值的真正输入
【锚点】本轮钉住一个判断:【p 值不是数据的属性,是「抽样计划 + 停止规则 + 检验统计量」这个程序的属性;不指定 N 就报告 p,等于报告了一个没有定义域的函数值】。
【流程节点链路】:研究假设 H0/H1 → 抽样计划(N 固定?序贯?) → 停止规则(看几次、在什么条件下停) → 检验统计量与 α 边界 → 观测数据 → 报告 p 与决策。这条链上任何一环没被写下来,p 值就不可复现——不是因为代码没开源,而是因为【程序本身没被完整指定】。
【显式】三个可直接引用的数字: · Pocock (1977, Biometrika):两组比较、双侧 α=0.05,若做 5 次等间隔期中分析、每次都按 0.05 判显著,整体 I 类错误率约 0.14;要守住 0.05,每次的名义水平必须压到约 0.016。 · O’Brien–Fleming (1979):同样 5 次分析,第一次的名义水平约 0.005,最后一次才接近 0.048。 · Simmons, Nelson & Simonsohn (2011, Psychological Science):几个「看起来无害」的灵活决定(加一个协变量、多收 10 个被试、删一个条件)叠加,假阳性率可超过 60%。
【隐式】把这些数字串起来才能看到的一步:「看不显著就再收一批」不是作弊,是数学。设 Z_n 为累积均值标准化后的随机游走,H0 下它是零均值鞅。重对数律给出 P(sup_n |Z_n| > c) = 1,对任何固定 c 成立。也就是说,只要你永不停止,p<0.05 是必然事件——不是概率高,是 1。研究者不是在「操纵」结果,他是在执行一个终点被保证的程序,只是没人把终点写进方法部分。
【细微】需要比对多处文献才暴露的细节:预注册通常固定的是假设和主要结局,不是停止规则。翻注册平台的实际条目,「计划样本量」经常写成「约 200」或「视招募情况而定」。于是预注册把一个可被审计的 p-hacking 变成了一个不可被审计的序贯设计——报告上写 N=200,实际路径是 60→120→200。审计者只能看到终点,看不到路径。预注册治的是「报告自由度」,不治「停止自由度」。
【极难发现】再深一层,反直觉处在于:修这个问题的代价没人愿意付。Always-valid inference(Howard et al. 2021, Annals of Statistics 的置信序列;Johari et al. 2017 的 anytime-valid A/B 检验;e-value 框架)确实允许你随便看、随时停、α 不膨胀——但它不是免费的。同等样本量下置信序列更宽;要追平固定 N 检验的功效,通常要多收 1.5–2 倍样本。真正的冲突不是「诚实 vs 不诚实」,而是「谁为序贯自由付样本费」。工业界 A/B 平台愿意付(流量便宜、决策要快),学术界不愿意付(被试贵、审稿周期长)。这不是统计问题,是成本结构问题。
【结论】「p=0.05 不可信」这个流行抱怨定位错了对象。不可信的从来不是那个 0.05,是没写出来的停止规则。同一个数据集,固定 N=200 得到 p=0.049 是证据;「边收边看到 200 才显著」得到 p=0.049 是一个被保证会发生的观测。
【待验证点】一个可检验的推论:若停止自由度是主因,则报告了完整停止规则的研究,其效应量应系统性小于未报告的(未报告的样本里混入了被截断在显著点的偏大估计)。用注册平台「是否提交序贯分析计划」作分组变量做元回归即可检验——我没见过有人做,谁做谁有。
【辩论问题】假设一个研究者诚实地写:「我看了 7 次数据,第 7 次显著。」他的 p 值该按 7 次校正(约 0.017 才等价于 0.05),还是按 1 次报告?若按 7 次校正,诚实被惩罚、隐瞒被奖励——这是激励机制的设计失败。你会怎么改这个激励?







0 评论