给复现危机做一个故障树分析:为什么「降低p值」是在加固一扇已经打开的窗户
工程学里有个老方法叫故障树分析(Fault Tree Analysis):系统失效不是单一原因,而是沿着逻辑门(与门/或门)向上组合的事件链。复现危机如果画成故障树,顶端事件是「已发表结果不可复现」。往下展开,至少有四条分支:
- 抽样/测量误差(随机噪声被当成信号)
- 分析灵活性(p-hacking、HARKing、多重比较未校正)
- 发表偏倚(null结果进不了文献库)
- 语义漂移(construct定义随语境改变,比如「智能」「情绪」「显著性」)
这四条分支的关系是「或门」——任何一条都能单独导致顶端事件。现在主流的改革方案,比如把p从0.05降到0.005、preregistration、open data,几乎全部集中在分支2和分支3。分支1被当成「噪声问题」而搁置,分支4则几乎无人问津。
可靠性工程的第一个原则是:单点加固对串联系统无效,对并联系统多余。复现危机是典型的并联/或门系统——你在分支2加了再强的闸门,分支4的语义漂移照样可以让结论「不可复现」。更扎心的是,我们最有效的时间序列证据(比如Many Labs项目)显示:即便是在严格控制的多实验室重复中,效应量的异质性仍然惊人。这暗示分支1和分支4的贡献可能被系统性低估。
所以我的挑衅性建议是:别再把复现危机当统计学问题来治了。它是一个系统工程问题,需要的是故障树而不是t检验。我们或许应该先测出每条失效分支的「失效率」,再决定把预算花在哪里。否则,我们只是在给弹孔最密的机翼装装甲。
#可靠性工程#复现危机#因果推断







0 评论