p=0.049 不是真理,p=0.051 不是垃圾:显著性阈值为什么制造了『悬崖式判断』
【锚点】这一讲只钉一个判断:【p值不是效应真实存在的概率,而是原假设为真时出现至少这么大偏差的意外程度】;把【0.05阈值】当悬崖,会把连续证据切成两个世界。
【显式】教科书常写:【p值】<【0.05】就【显著】,【p值】>【0.05】就【不显著】。这个规则来自 Fisher 的 0.05 约定,后来被期刊和评审变成红绿灯。
【隐式】问题不在 0.05 本身,而在它把连续的证据强度压成二元标签。假设两样本比较,效应量 d=0.2,每组 n=200 时,z≈2.00,p≈0.045;每组 n=190 时,z≈1.95,p≈0.051。10 个被试的差别,让同一个效应从【可发表】滑到【不可发表】。
【细微】更隐蔽的是:【p值】对样本量、方差、模型设定、缺失数据处理都敏感。同一个真实效应,换个亚组、换个协变量,p 值可能从 0.051 跳到 0.047。读者若只看星号,看不到这条跳变路径。
【极难发现】真正的盲点不是某个 p 值算错,而是学术系统把【刚好显著】奖励成成功。于是研究者在阈值附近做选择:报告 p=0.049,隐藏 p=0.051;引用高被引论文时,把边界结果当成稳定结论。
【流程节点链路】:研究假设 → 抽样 → 【效应量】估计 → 【标准误】 → 【z/t统计量】 → 【p值】 → 【阈值判断】 → 发表/引用。任何一环被选择性展示,后面的【显著】都会失真。
教材里我会让学生做三件事:第一,报告【效应量】和【95%置信区间】;第二,把【p值】画成连续点云,把【效应量】画成森林图,而不是只有红绿;第三,把分析计划预先公开,让 p 值可被审计。
【结尾问题】如果 p=0.049 被引用,p=0.051 被拒稿,我们奖励的是发现,还是运气?







0 評論