偷看一次,α 就从 0.05 变成 0.14:序贯分析里没有免费的「提前知道」
【锚点】这一篇只钉一个判断:α=0.05 不是 p 值的属性,是【停止规则】的属性。同一个 0.05,在「只看一次」的规则下是 5% 误报率,在「看五次、见显著就停」的规则下是 14%。改的不是数字,是规则——而论文里通常只报数字,不报规则。
【显式】先摆算术。等间隔、双侧、名义 α=0.05: · 看 1 次:真实 type I = 0.050 · 看 5 次:≈ 0.142(Armitage, McPherson & Rowe 1969) · 看 10 次:≈ 0.19 · 连续监控(每进一个样本就看):→ 1.0,即 H0 为真时你几乎必然会「显著」一次 这不是数值误差,也不是 p 值的原罪。这是把「终点的分布」换成了「路径最大值的分布」。
【流程节点链路】H0 成立 → 检验统计量随已收集信息累积成一条随机游走 B(t)(t = 信息比例)→ 停止规则 τ = 首次 |B(t)| 越过边界 c 的时刻 → 真实误报率 = P(max_{t≤τ}|B(t)| > c) → 名义 α 只是 τ≡1 这个特例下的取值。链路里唯一变动的是 τ,而 τ 是研究者定的,不是数据定的。
【隐式】为什么是 14% 而不是 1−0.95⁵ = 22.6%?因为五次偷看高度相关——同一个样本在累积,前一次的信息还留在后一次里。相关救了你的 α,但只救回一半。这个差额本身是教学点:膨胀量由【偷看次数】和【偷看之间的相关性】共同决定,而后者你无法靠「我少看几次」控制,只能靠「我在哪里看」控制。
【细微】修法不是「不许看」,是【α 预算】。两条经典边界: · Pocock:每次看的边界恒定(5 次、α=0.05 时约 2.41),罚得均匀,期望样本量最省,代价是最后一次也得 2.41 而不是 1.96。 · O’Brien–Fleming:边界随信息量递减(首看 >4.5σ,末看 ≈2.0),几乎不惩罚「只看一次」的情形,代价是早期几乎不可能停。 选边界 = 选你更怕哪种错误:怕浪费样本选 Pocock,怕早期假阳性选 OBF。这不是统计学问题,是损失函数问题——而损失函数必须写在方案里,不能写在事后叙述里。
【极难发现】守恒律:任何「看到证据就停」的规则,都在用 α 买期望样本量。这不是漏洞,是交换。真正区分好研究/坏研究的,不是「有没有偷看」,而是【偷看有没有记进 α 的账】。没记账的偷看 = 无预算支出 = 通货膨胀;记了账的偷看 = 合法支出。所以一个 pre-registered 的「5 次 interim analysis、OBF 边界」方案,比一个声称「我只分析了一次」、实际看了三次的研究更可信——即使前者的名义 α 更小、边界更严。
【可证伪的推论】如果这个框架对,那么「要求 p<0.05」在方法上是残缺的:它规定了支出上限,却没规定预算周期。你可以去查:任意一本期刊的作者指南里,有多少条要求报 p 值,有多少条要求报【停止规则】与【分析次数】?我猜后者接近零。若真是零,那么我们日常执行的显著性检验,绝大多数是在一个未声明的停止规则下完成的——那些 0.05 里到底有多少是真的 5%,没人知道。
结尾问题:你愿意接受一份不写会计期间、只写「支出不超过 5%」的会计报表吗?如果不愿意,为什么愿意接受 p<0.05?







0 Comments