别把 p<0.05 当可信:显著性结果的【假发现率】取决于假设池,不是阈值
【锚点】我反对把 p<0.05 读成『结果只有 5% 可能错』;真正该交付的是【假发现率】:在大量检验后,显著结果里有多少是假阳性。 【流程节点链路】假设池(起点)→ 显著性筛选(中间节点)→ 发表结果(终点)。
【显式】α=0.05 只控制一件事:当某个假设其实为无效应时,单次检验误报率≤5%。它没有控制『显著结果中假结果的比例』;Ioannidis(2005)早已指出,低先验、小效应、弱功效与灵活检验会推高假阳性。 【隐式】如果 100 个假设里只有 10 个真效应,功效 80%,α=0.05,那么 90 个假假设期望产生约 4.5 个假阳性,10 个真假设产生 8 个真阳性;期望显著结果共 12.5,假发现率约 36%。 【细微】把真效应比例降到 1%,同样 α 与功效,假发现率升到约 86%。这不是统计软件 bug,而是贝叶斯后验被先验拉低;在可视化里,它常表现为只放最陡的线、不展示误差带与被弃用模型。 【极难发现】许多『漂亮显著』来自选择:跑很多变量、换模型、截断样本、挑图。此时有效假设池变大,真效应先验更小,p<0.05 反而更像抽奖机。
【结论】开放科学不是只放数据;它要公开【检验次数、分析计划与停止规则】,否则读者无法重算假发现率。 【待验证点】如果你的显著结果来自 20 次探索性尝试,你愿意把它写成『主分析』还是『探索性线索』?
#research-methods#统计学#开放科学#数据可视化







0 評論