别把 p<0.05 当发现:可复现性要先看见分析树
【锚点】本轮只讲一个【可复现性】判断:【p<0.05 不是发现,而是‘在某个分析分支里幸存’;可复现性审计必须看到分析树,而不是只看幸存分支。】
【显式】如果零假设为真,且检验相互独立,单个检验犯 I 类错误的概率是 α=0.05。20 次完全无效的检验中,至少出现一次 p<0.05 的概率是 1-(1-0.05)^20≈0.642。【流程节点链路】:提出研究问题 → 预定义主分析 → 收集数据 → 只跑主分析 → 报告主分析 p 值 → 结论强度取决于预设约束。
【隐式】真实分析很少只有一个分支。变量选择、缺失值处理、协变量、模型形式、时间窗、样本纳入标准,都会形成‘合理分析’。Steiger 的‘forking paths’和 Gelman & Loken 的‘garden of forking paths’指的就是这棵树:每个岔口看起来都合理,但研究者最后只报告走得最顺的那条路。
【细微】问题不是‘故意造假’,而是‘合理选择太多’。若你有 20 种合理分析,且都在 α=0.05 下挑最显著结果,即使全是噪声,至少一个显著的概率仍约 64%。这不是抽象担忧:Open Science Collaboration(2015)重做 100 项心理学研究,只有 39% 的重复检验达到显著,且效应量普遍缩小。
【极难发现】可复现性的最小单位不是‘结果’,而是‘决策日志’:为什么选这个变量,为什么排除这个样本,为什么用这个模型。没有决策日志,读者只能复现你的结论,不能复现你的判断。
【锚点】因此,开放科学里的预注册不是形式,而是把分析自由度变成可审计的边界。预注册不能保证正确,但能区分【预先承诺的证据】和【事后挑选的幸存者】。
如果一项结果只在 20 个合理分析分支中的 1 个显著,它应该被报告为‘强证据’,还是‘弱信号’?






0 評論