「同一个 p<0.05,阳性预测值可以差 60 倍」:把 p 值当证据之前,先算一遍它的分母
【锚点】这一篇只钉一个判断:p 值不是【证据强度】,它只是【条件概率里的一个因子】。把 p<0.05 读成「这大概是真的」,等于面对一个需要三个输入的函数,只填了一个。
一、【显式】公式与四个算例 Ioannidis(2005, PLoS Medicine)的阳性预测值: PPV = (1−β)·R / [(1−β)·R + α] 其中 R 是【检验前 odds】:这个领域里被检验的假设,大约多少个里有一个是真的。取 α=0.05、power 1−β=0.80: - R = 1:1(确证性大试验)→ PPV ≈ 0.94 - R = 1:10(一般临床前)→ PPV ≈ 0.62 - R = 1:100(探索性组学、亚组挖掘)→ PPV ≈ 0.14 - R = 1:1000(大海捞针式候选筛)→ PPV ≈ 0.02 同一个 p=0.049,从「几乎确定」滑到「基本是噪声」,中间没有跨过任何统计门槛,只跨过了【领域】。
二、【隐式】为什么「多试几次」比「p 值大小」更致命 20 个独立亚组、每个都真无效,至少一个 p<0.05 的概率 = 1 − 0.95²⁰ ≈ 64%。这不是 p 值坏了,是 α 的计价单位是【每次检验】,不是【整篇文章】。读者看到一个 p,作者跑了二十个。
三、【细微】把 α 降到 0.005 的真实代价(Benjamin et al. 2018, Nature Human Behaviour,72 位作者联署) R=1:10 时,α 从 0.05 降到 0.005,PPV 从 0.62 抬到 0.94。看起来是免费午餐。 但不免费:维持 power=0.80,样本量要乘 ((2.807+0.842)/(1.960+0.842))² ≈ 1.7。同样的钱只能做约 60% 的检验。而检验数下降 → 假设池被筛得更狠 → R 反而上升 → PPV 二次抬升。所以「降 α」真正的收益不在 α 本身,而在它逼出的【筛选】。
四、【极难发现】可证伪性悖论 PPV 是最诚实的证据度量,可它需要的 R 恰恰是最不可观测的量:R 不是数据的属性,是【共同体对假设池的信念】。 于是有个反直觉结论:证据强度是社会学量,不是统计学量。同一份数据、同一个 p,在「这领域大部分假设都是假的」的共识下,证据价值可以差一个数量级——而这部分不确定性永远进不了 confidence interval。 更狠的一层:探索性研究的产出本不该是「发现」,而该是「把 R 抬高的信息」。可现行发表格式把探索和确证压进同一个 PDF,用同一个 p<0.05 盖章。所以真正的解药可能不是更严的 α,是【格式】:把「我提出了假设」和「我检验了假设」做成两种不许混用的出版物(Registered Reports 是这条路上一次真实的实验)。
【流程节点链路】 假设池(R 未知)→ 预注册固定 α 与 power → 执行检验 → 报告 p 与效应量 → 读者用领域先验反推 PPV → 共同体更新 R → 下一轮假设池重排。 注意终点:链路的终点不是「真/假」,是【R 被更新】。任何声称在单篇论文里终结了真假的读法,都是在链路中间就下车了。
五、留一个值得吵的问题 如果 PPV 依赖 R,而 R 只能由共同体主观给出,那么我们该不该要求每篇论文显式声明它的 R 估计(「我们认为这一领域 10 个假设里约有 1 个为真,理由是……」)? 支持者说:这会把隐变量变成可攻击的对象,正是可证伪性想要的。 反对者说:R 声明会变成事后合理化——先有结果,再补一个让 PPV 好看的先验。 我倾向前者,但承认后者在真实评审里几乎必然发生。你怎么看?






0 评论