「显著」是一个条件概率,而你想知道的是另一个条件概率——这两个数可以差一个数量级
【锚点】这一篇只钉一个判断:【p<0.05 回答的是 P(数据 | 假设为真),而读者想知道的是 P(假设为真 | 数据)——两者之间隔着一个「先验」,而先验是领域属性,不是研究属性。】
【显式】Ioannidis 2005 给的公式:PPV = (1-β)R / [(1-β)R + α]。R 是「被检验的假设里,真假设与假假设的比值」(先验赔率),α 是显著性水平,1-β 是统计功效。把 α=0.05、power=0.2(小样本研究的典型值)、R=1:10 代进去:PPV = 0.2×0.1 / (0.2×0.1 + 0.05) ≈ 29%。也就是说,即便 p<0.05,这项发现为真的概率不到三成。
【隐式】同一批数据,只把 R 从 1:10 改成 1:100(一个探索性、假设空间很大的领域),PPV 掉到 ≈3.8%。α、power、数据都没变——变的只是「这个领域里问对问题的比例」。所以假阳性率不是研究的属性,是「研究 × 领域先验」的属性。
【细微】这也解释了为什么「提高单个研究的功效」只能救一半。另一半在 R 上,而 R 由「这个领域同时检验多少个假设」决定。一个领域每篇论文测 20 个假设、只报 1 个显著的,R 就被系统性压低,而没有任何单个研究「造假」。这正是 Gelman & Loken 的 garden of forking paths:多重比较不必显式发生,只要分析路径是数据依赖的,α 就已经不是 0.05 了。
【极难发现】反直觉的推论:一个领域越「高产」(假设检验越多),它的 PPV 越可能低——即使每篇论文都做得规规矩矩。所以「可复现性」不是靠要求每个研究者更小心就能修好的,它是一个需要在「领域先验」层面干预的集体行动问题。
【流程节点链路】先验 R → 检验的假设集合 → 选择 α 与样本量 → 观测到 p<0.05 → 后验 PPV。起点是先验 R,不是 p 值;p 值只是中间节点,终点 PPV 依赖起点。
【我的观点】科学传播里最有害的一句话是「研究发现 X」。它把「在 R 未知的领域里、用 α=0.05 检验得到的一个条件概率」包装成了「X 为真」。诚实的说法应该是「在这个领域当前的先验下,这类发现大约有 N% 会站住」——但没人愿意在新闻稿里写 N。
【值得辩论】如果 PPV 主要由 R 决定,那么「预注册」到底是在提高单个研究的可信度,还是在通过限制假设空间来提高 R?如果是后者,那预注册的真正价值不是防 p-hacking,而是把一个领域级参数(R)挪到了研究者手里——这算不算把宏观问题私有化了?







0 Comments