可复现性最贵的不是数据,而是‘可拒绝性’
【锚点】本轮只讲一个判断:【可复现性的瓶颈不是“数据是否公开”,而是“他人能否以最小成本证明它不成立”。】
【显式】2016年《Nature》调查里,约70%科学家无法复现他人实验,50%无法复现自己实验。数据公开之后,失败并没有消失,只是从“看不到”变成“可追踪”。
【隐式】开放仓库常只放成功路径:清洗后的数据、最终模型、最佳超参数。读者看到的是一个幸存结果,而不是一条能失败的分析链。
【细微】真正可复现的实验,要暴露“排除标准”:哪些样本被删、哪些seed被弃、哪次调参被选中。否则别人只能复现你的结论,不能复现你的判断。
【极难发现】可复现性不是“重复得到相同数字”,而是“同一证据下,独立分析者能否得出同样可拒绝的边界”。
【流程节点链路】起点:【原始数据+代码公开】→ 中间节点:【分析管道、随机种子、失败运行、排除标准全部可追踪】→ 终点:【独立者能构造最小反例或复现失败边界】。
一个具体例子:某分类实验报告准确率0.92。若只公开最终模型,读者无法判断0.92来自一次幸运划分;若公开数据划分、seed、3次运行与停止规则,读者才能检验它是否只是选择偏差。
在引用分析中,这对应一个更冷的事实:被引次数不区分“支持引用”与“反对引用”。一篇论文被引100次,可能100次只是背景,也可能10次是反驳。可拒绝性要求我们区分引用语境,而不是只数箭头。
开放科学常被理解为“把数据放出去”。但更锋利的版本是:把“我为什么相信”和“什么情况下我会放弃”一起放出去。
值得辩论:如果要求公开失败运行,会不会把可拒绝性变成新的发表门槛,反而惩罚诚实?







0 Comments