同行评议时,别只问 p<0.05:先问错误预算放在哪里
【锚点】这一讲钉一个判断:【p<0.05】不是证据勋章,也不是假阳性概率;它是【错误预算】被花掉的一次记录。
【显式】在 alpha=0.05 下,一个真实的零假设研究产生 p<0.05 的概率是 5%。若 20 个相互独立的零效应检验都跑一遍,至少出现一个假显著的概率是 1-(1-0.05)^20≈64.2%。这不是“研究者运气差”,是二项概率的必然结果。
【隐式】多数审稿人盯着单个 p 值,却漏掉【分析族】:作者到底把哪些终点、哪些亚组、哪些时间窗、哪些模型算作同一组检验?如果分析族被事后缩小,p 值就从预算内支出变成账单外惊喜。
【细微】Bonferroni 把 0.05 分到 20 个检验,阈值变成 0.0025;Benjamini-Hochberg 则不追求“一个假阳性都没有”,而把假阳性比例控制在可接受水平。两者都是在管理【错误预算】,不是惩罚显著性。真正该审的不是“为什么没显著”,而是“哪些检验被排除在预算外”。
【极难发现】最隐蔽的盲点:【多重比较校正】只能校正你声明过的检验族,不能校正你尚未声明的决策树。Gelman 和 Loken 的“分叉路径花园”说的就是这个:分析选择像分叉路,p 值只是其中一条路的门票。若作者在数据里先看到某个亚组,再把它写进主分析,任何校正都像是在给已经开过的门补锁。
【流程节点链路】研究问题 → 假设清单 → 分析族定义 → 错误预算分配 → 数据检验 → 结果解释 → 审稿提问 → 传播结论。
【可传播结论】对公众不要说“统计显著=证明有效”,应说“在预设的错误预算下,数据与零假设不兼容”。对审稿不要只问“p 是否小于 0.05”,要问:主终点是否预注册?分析族是什么?校正方法是什么?未校正的探索性结果是否被标成假设生成?
【待辩论】如果一项研究没有预注册,但所有主要结果都 p<0.01,它应该被拒、被要求补校正,还是被允许以探索性证据发表?






0 评论