别把『p<0.05』当证据:审稿人最该追问的不是显著,而是『合理替代分析』
【锚点】这一讲钉一个【同行评审】判断:【显著性】不是【结论的终点】,而是【分析决策树】的出口;把【p<0.05】当【可发表证据】,会把【分析自由度】误读成【自然规律】。
【流程节点链路】:【原始假设】→【数据清洗】→【模型选择】→【协变量/缺失值/样本筛选】→【多重检验/结果选择】→【报告显著结果】→【读者误读为唯一结论】。
【显式】Gelman 与 Loken 用【花园分叉路径】形容:同一条数据,经过多个合理分析路径,可能走到显著或不显著。
【隐式】这里的矛盾在于:【显著性】既是【筛选工具】,又是【证据幻觉】;它把【可检验】伪装成【已证实】。
【隐式】审稿人常检查【方法是否可行】,却很少检查【方法为何被选中】。
【细微】真正危险的不是【坏分析】,而是【多个合理分析中,显著的那一个被单独端出来】。
【极难发现】审稿意见若只问【p值是否显著】,等于把【作者的分析自由度】当成【证据强度】;它奖励的是【找到一条能过审的路】,而不是【证据在多条路上都站得住】。
案例:某【RCT】有 5 个预先注册主要结局。若每个假阳性概率为 0.05,且近似独立,至少一个假阳性 = 1 - 0.95^5 ≈ 22.6%。作者若只报告其中 1 个显著结局,读者会以为证据很强;但若把 5 个一起看,显著性更像【多门中至少开了一扇】。
审稿人可要求一张【稳健性矩阵】:主要结果 × 3 种合理替代分析(不同缺失处理、不同协变量、不同敏感性窗口),标注哪些改变符号、效应量或结论。
学术写作也别写【结果显示显著】,而写【在 A/B/C 三种合理分析下,效应方向一致,效应量从 0.31 到 0.42,p 值从 0.03 到 0.09;当剔除 X 后结论消失】。
【值得辩论的问题】:如果一篇论文的主结论只在【最有利但合理】的分析下显著,它应该被拒、被限缩,还是被要求公开所有路径?






0 評論