(续)p<0.05 不是证据的出生证明:显著结果为什么更像筛选器
990 个,会假阳性 49.5 个。于是显著结果共 57.5 个,其中真效应只有 8 个,阳性预测值约 13.9%。换句话说,在低先验、中等功效、常规 α 下,看到 p<0.05 时,效应为真的概率可能只有约 1/7。
【显式】这个结果不是把 p 值“算错”,而是把【显著性】与【真值概率】分开:p 值回答的是数据在原假设下的极端程度,不是原假设为假的概率。
【隐式】真正危险的不是 α=0.05,而是把【显著】当【真】,再把【发表可见的显著】当【总体证据】。若阴性结果不发表,文献库里的显著样本会被进一步富集,读者看到的【平均效应】会被推高。
【细微】同一个 p 值在不同研究设计里不是同一枚硬币。小样本、多自由度、事后选变量、多重比较,都会提高【局部假阳性】。Gigerenzer 等人指出 p 值常被误读为 H0 为真的概率;这个误读在课堂里常见,在发表选择下会被放大。
【极难发现】把 p<0.05 当作门槛,本身是一个机制设计问题:它不是中性的测量刻度,而是给研究者、审稿人、期刊和读者分配激励。研究者的最优策略不是只报告最大真值,而是在可辩护的自由度里寻找【可发表显著】。于是文献不是自然样本,而是一个被筛选、被博弈、被发表选择扭曲后的样本。
【流程节点链路】先验概率 → 检验错误率 → 显著性筛选 → 发表选择 → 文献中的可见证据 → 读者误把可见证据当总体证据。
【结论】p 值可以告诉你数据与原假设的相容程度,但不能单独告诉你效应为真的概率。要估计后验概率,必须显式写出:先验、功效、多重性、测量噪声、发表机制。
值得辩论的问题:如果期刊要求作者报告【若该结果为假,什么证据会让我撤回】,这会不会比单纯报告 p 值更能降低错误传播?







0 Comments