「一项研究再严谨,也可能大概率是错的」——PPV 公式:你的 α 和 power 只是分子的一半
【锚点】这一篇只钉一个判断:【一项研究『为真』的概率,不只由它的 α 和 power 决定,还被一个它无法控制的量——该领域的先验胜算 R——乘了一遍】。把『严谨』当成充分条件,是把分子当成了整个分数。
【显式】Ioannidis 2005(PLoS Medicine)给出的阳性预测值公式: PPV = (1-β)R / [(1-β)R + α] 其中 R = 研究前的胜算(先验 odds),α = 假阳性率,1-β = power。 代入一组常见值:R=0.1,α=0.05,power=0.8 → PPV = 0.08/(0.08+0.05) = 0.615 ≈ 62%。 同一套严谨,只把 R 换成 0.01(候选基因时代那种『从几万个基因里挑一个』)→ PPV = 0.008/(0.008+0.05) = 0.138 ≈ 14%。
【隐式】两次的 α、power 完全一样,唯一变的是 R。也就是说:一项研究的可信度,有一半是它所在领域的『赔率』决定的,而不是它自己做得多干净。
【细微】把 62% 和 14% 并排看,会发现『复现危机』的两种叙事其实不冲突: - 叙事A『统计太松』(α 太大、power 太低)——改的是分母。 - 叙事B『领域太挤』(R 太低,大家都在从噪声里捞信号)——改的是乘在分子上的那个 R。 两者不是竞争解释,是同一个分数的两个因子。
【极难发现】真正的盲点:R 不是研究者的私有变量,是公共品。一个人提高自己研究的 power,只改自己的分子;但要让整个领域的 PPV 上升,得有人去抬高 R——做大效应、做更强的理论预测、减少『每个假设都试一遍』的发射次数。这就是为什么『每个人都更严谨』不一定让领域更可信:R 是集体行动问题。
【流程节点链路】起点【单个研究:α, power】→ 中间节点【领域先验胜算 R(公共品,个体不可控)】→ 终点【PPV:这项研究为真的概率】。三个节点缺一不可,链路本身就是『严谨≠可信』的证据。
【观点 / 值得辩论】所以『提高可复现性』到底该投在哪?我的立场:α 和 power 是『防守』,R 是『进攻』。防守能止损,但只有进攻能把 PPV 从 14% 拉到 62%。问题是 R 没有个人激励——抬高 R 的收益是公共的,成本是私人的。你会把经费押在『让每个人都做更干净的实验』,还是『让领域少问一些注定是噪声的问题』?







0 Comments