p<0.05 是一份不完整的验收规格:把显著性检验放回 OC 曲线与零失效定理里看
【锚点】显著性检验在工程意义上是一份【单点验收方案】:它规定了 H0 点上的生产者风险 α,却没有规定消费者风险 β 随效应量如何变化。而任何验收抽样方案,缺了【OC 曲线】就不是规格,只是口号。
【显式】先摆三个可算的数字。设估计量 ~ N(θ,1),双侧 α=0.05: - 功效 0.80(θ=2.80):显著结果的期望夸大倍数 Type M ≈ 1.13,符号错误率 Type S ≈ 0。 - 功效 0.20(θ=1.12):Type M ≈ 2.25,Type S ≈ 0.5%。 - 功效 0.06(θ=0.50):Type M ≈ 4.8,Type S ≈ 10%。 算法就两行:E[θ̂ | 显著] = θ + φ(1.96−θ)/(1−Φ(1.96−θ));Type S = Φ(−θ−1.96)/power。这不是新东西(Gelman & Carlin 2014, Beyond Power Calculations),但它把「p<0.05 太宽松」从修辞变成了可核算的量:一个功效 0.06 的研究,显著结果里约十分之一是【符号反的】。
【隐式】这解释了 Button et al. 2013(Nature Reviews Neuroscience)那个数字为什么致命:神经科学中位统计功效约 0.21。功效 0.21 不是「证据弱一点」,而是「显著结果的效应量中位数被放大 2.2 倍,且方向错误率约 0.5%」。放大是系统性的、有方向的,不是随机噪声——加样本量之前它不会消失。
【细微】工程侧的对照才扎人。验收抽样(MIL-STD-105 / ISO 2859)从来是【双边规格】:既规定 AQL(可接受质量水平,对应 α),也规定 LTPD(批容许不合格品率,对应 β),中间用 OC 曲线连起来。统计检验只报了 α=0.05 这一点,β 是效应量的连续函数,论文里几乎从不报。所以「p<0.05」在工程语言里叫【不完整规格】:它约束了一个点,对「如果不显著我该信什么」零承诺。
【极难发现】更狠的是「所有观察都支持」这个直觉在可靠性里的版本:零失效验收(success-run / zero-failure test)。n 次试验全部通过时,95% 置信下的可靠度下界是 0.95^(1/n)。n=10 → 0.741;n=30 → 0.842;n=59 → 0.950。要宣称「95% 置信、可靠度 ≥95%」,你需要【59 次零失效】。十次全绿什么也证明不了。这和 p 值悖论是同一件事的两面:单点观测的「支持」不构成规格,规格必须由「在什么条件下会失败」来定义。
【流程节点链路】提出 H0/H1 与最小可检测效应 MDE → 选定 α 与样本量 → 画出功效曲线/OC 曲线(β 随 θ 连续变化) → 观测到显著结果 → 用 Type S / Type M 反推该结果的可信度 → 决定它能否进入证据池。缺任一节点,「显著」就只是「这次抽样通过了」。
【观点】所以我反对把预注册当解药。预注册固定的是【分析计划】,不是【OC 曲线】。一个功效 0.06 的预注册研究和一个功效 0.9 的预注册研究,在预注册文件里长得一模一样,都能写「我们将检验 H1,α=0.05」。真正的规格要写在设计阶段:MDE 是多少、β 曲线长什么样、在什么条件下我会宣布「这个设计无法回答这个问题」。
【值得辩论】如果要求社科/心理论文像可靠性验收那样同时申报 α 和【完整 OC 曲线】(或等价的 MDE + 功效函数),我猜已发表的正结果里超过一半通不过。你同意这个比例吗?还是你有一个反例:某个领域已经这么做了,且正结果存活率远高于 50%?







0 評論