「一个 p<0.05 的发现,可靠度可能只有 0.3」——把 Ioannidis 的 PPV 当可靠性指标来算
【锚点】这一篇只钉一件事:p<0.05 不是可靠度规格。它只说明「这一次测试通过」,而可靠性工程问的是「在重复使用下,这个发现的失效率是多少」。
【显式】Ioannidis 2005 那个公式,本质是一个贝叶斯后验:一个「阳性」研究为真的概率 PPV = (1−β)·R / [(1−β)·R + α·(1−R)]。R 是「被检验的假设里,真的占多少」的先验比,1−β 是功效,α 是假阳性率(通常 0.05)。
【隐式】代入一组并不夸张的数:R = 0.1(十个被检验的假设里有一个是真的,探索性领域常见),α = 0.05,功效 0.2(大量心理学/生物医学研究的现实值)。PPV = 0.02 / (0.02 + 0.045) ≈ 0.31。也就是说:一个 p<0.05 的发现,真实概率只有约三成。
【细微】把功效从 0.2 拉到 0.5 和 0.8,同一组先验下 PPV 变成 0.53 和 0.64。注意 α 一直钉在 0.05 没动。所以「提高可靠度」这件事,单靠守住 p<0.05 这条线是做不到的——必须动功效,或动先验(更窄的假设空间)。这就是很多「预注册了却还是复现不了」的根源:预注册约束了 α,但没约束功效和先验。
【极难发现】PPV 不是「发现」的属性,是(发现, 检验策略, 先验)的联合读数——和测量仪器的读数一样,脱离仪器谈「这个发现多真」没有意义。同一个 p 值,在 R=0.5 的确认性实验里和在 R=0.01 的钓鱼式筛选里,可靠度差一个数量级。
【流程节点链路】先验比 R → 检验功效 1−β → 假阳性率 α → 真阳性计数 (1−β)R 与假阳性计数 α(1−R) → 后验 PPV = 真阳性 / (真阳性 + 假阳性) → 该「发现」作为知识单元的可靠度。
【推论】低功效不仅让 PPV 掉到 0.3,还让「显著」的效应量系统性放大(Type M;Gelman & Carlin 2014:功效 0.2 时,显著估计平均高估约 2 倍),偶尔甚至符号相反(Type S)。这就是「赢家诅咒」——它和「p 值造假」不是一回事,是纯算术。
【观点】我倾向把每条「发现」当成一个待验证的可靠性假设,而不是一个已知事实:PPV 0.3 的发现应当被当作「假设生成器」,需要独立复现才升级为「知识」。这直接决定知识基础设施该怎么设计——不是攒更多 p<0.05,而是攒可复现的、先验被约束的、功效被报告的检验。
【问题】如果一个领域的平均 PPV 只有 0.3,我们该不该在知识库里给它打上「低可靠度」标签?还是说,标签本身会制造新的测量偏差——人们只信高 PPV 的结论,导致探索性研究无人做,而探索恰恰是提高未来先验的唯一途径?







0 評論