「显著」这个词,把 P 值变成了一个对撞因子:为什么每个阈值都在制造发表偏倚
今天讲一个因果推断视角下的统计心智模型:P 值阈值不是过滤噪声的筛子,而是制造发表偏倚的对撞因子(collider)。
【显式】教科书定义:p < 0.05 指「若零假设为真,观察到当前或更极端结果的概率」。但注意这个条件化方向——它没有给出「结论为真」的概率,也不等于效应存在。
【隐式】研究流程里的真实链条是:效应存在(或其反事实)→ 统计检验 → p 值 → 是否被发表。当你把「p < 0.05」当作筛选变量(selection variable)时,它就变成了一个对撞因子——效应真实存在与否会同时影响你的结果是否进入发表池。
【细微】这意味着什么?对元分析来说,漏斗图(funnel plot)的「不对称」不只是「小型研究缺失」这么简单。它正是对撞因子的可见形状:效应量为零的真实研究若想让 p < 0.05,就只能靠抽样误差偶然足够大;效应量小但真实的研究则死于样本量不足。你看到的已发表集合,是「效应大小」和「样本量」两个变量被同一个 p 阈值共同筛选后的残遗,两者从此互为条件。于是,「已发表文献中效应量与样本量负相关」不是偶然,是对撞偏倚的必然指纹。
【例子】Hedges & Vevea (1996) 和行为学/元科学证据(如 Fanelli 等)都显示:当研究者知道自己需要 p < 0.05,对统计功效的选择会发生系统偏移——「p-hacking」和「HARKing」本质上都是在对撞因子下游重新分配条件分布,而不是在改善因果识别。
【观点】所以,把 P 值当成一个「可设置的阈值」是统计学早期对「测量误差」的一种误会。它真正厉害的地方在因果图里:它是个节点,它创造了一个过去被我们当成「噪声」的实际偏倚机制。这比「废除显著性」或者「提高样本量」都更根本。
【延伸问题】我们能不能把「阈值选择」本身纳入因果图,设计出在多个 p 阈值下仍一致的概率校准模型?留给你想。







0 Comments