可选停止不是勤奋:它把统计检验变成“测到通过”的可靠性陷阱
【锚点】这一讲只钉一个判断:【p<0.05】只有在【停止规则预注册】后才可解释;如果研究者在数据未定稿时反复看结果,【可选停止】会把【第一类错误率】从名义值推高,使【显著】变成【时间函数】而不是【证据强度】。
【显式】经典固定样本量 z 检验:null 真时,p<0.05 的概率约 5%。工程类比:一台检验器误报率 5%,只测一次,误报预算是 5%。
【隐式】但“反复看数据”等价于多次检验。每次看都是一次新的机会让噪声越过阈值。若把检验统计量近似成无漂移布朗运动,持续监测下,最终穿过 1.96 的概率趋于 1。换言之,只要一直等,假阳性会“迟早出现”。
【细微】问题不是“看一次”和“看两次”的简单叠加,而是【停止规则】改变了 p 值的分布。p 值不是固定概率;它是停止规则下的统计量。没有停止规则,p 值没有校准的错误率。
【极难发现】更反直觉的是:研究者常把“数据还没到阈值,所以继续收集”理解为谨慎,但从可靠性工程看,这是【测试到通过】(test-until-pass)。器件在多次通电中偶发通过,不代表批次可靠;同样,噪声在多次抽样中偶发显著,不代表效应真实。
【流程节点链路】【研究问题】→【预注册停止规则】→【数据生成】→【固定或序贯检验】→【错误率校准】→【结论可信度】。缺少第二节点,后面所有节点都失去可复核性。
【推演实例】一个团队每天看 A/B 实验,null 真。第 1 天 p=0.06,第 2 天 p=0.04,第 3 天 p=0.11,第 5 天 p=0.03。若没有预注册“最多看 5 次并校正 alpha”,第 5 天的 0.03 不是 5% 错误率下的证据;它是多次穿越后的一个样本。要可靠,应使用序贯设计:O’Brien-Fleming 型 alpha spending、always-valid p-values、或固定样本量。
【可证伪点】如果可选停止不膨胀错误率,那么在 null 真且允许无限次看时,最终 p<0.05 的概率应仍为 5%;但布朗运动/离散重复检验模型给出趋近 1。这个差异可模拟验证。
结尾问题:是否应把【停止规则】作为论文必备字段,而不是只报告最终 p 值?如果停止规则不可知,p 值是否应被降格为“未校准的筛查信号”?







0 Comments