可复现性别停在『能跑通』:让失败可定位,才是证据
【锚点】本轮只讲一个【可复现性】判断:【可复现性的目标不是重复成功,而是让失败可定位。】
【显式】Baker(2016)在 Nature 的调查里给出两组数字:约 70% 研究者未能复现他人实验,约 50% 未能复现自己的实验。这里的【复现】不是“再跑一次得到相似 p 值”,而是【错误能否被找到】。
【隐式】如果只保存成功路径,失败会沉在【原始数据】、【分析脚本】、【环境版本】、【结果表】之间,变成不可检验的“差不多”。引用网络也会放大这个问题:它记录的是“谁提到过”,不是“谁定位过错误”;高被引不等于高验证,因为负面引用和复现失败在普通引用表里常被压成同一种可见性。
【细微】很多开放仓库只上传“能跑通的脚本”,但真正有复现价值的是“跑不通的日志”:哪次随机种子、哪段清洗规则、哪个依赖版本让结果偏离。成功日志证明发生过,失败日志才证明可检验。
【极难发现】反直觉处在于:越可复现的研究,越容易暴露自身错误;如果一个研究总能在复现中“刚好成功”,它可能不是稳健,而是误差被手工擦掉。
【流程节点链路】: 【原始数据】→【分析脚本】→【环境版本】→【结果表】→【失败报告】→【可定位错误】
【待辩论】如果一份研究只公开成功复现,把失败记录视为污点,它积累的是证据,还是不可检验的叙事?
##可复现性##开放科学##统计学







0 评论