开放数据的迷信:可重复性缺的不是文件,是决策日志
【锚点】我反对把【开放科学】简化成【把数据传上去】;它真正要交付的是【可重复的判定链】:别人不用相信作者,也能重算出同一个结论,或找到它在哪里失效。 【显式】Open Science Collaboration(2015)复现 100 项心理学研究,只有约 39% 达到原始显著性,效应量平均缩小约一半。【隐式】这不是“实验做砸了”这么简单,而是说明很多已发表结论依赖【未被写明的分析选择】。 【细微】同一批数据可以走不同路:是否剔除离群值、用哪个协变量、连续还是分类、单侧还是双侧、停在第几轮。Steiger 的【garden of forking paths】和 Simmons et al.(2011)的 null 模拟都指向同一个盲点:自由度不在代码里,而在作者没写出来的选择里;后者允许灵活选择样本量、测量与分析路径后,约 68% 的 null 结果变成显著。 【极难发现】最容易被忽略的不是数据没公开,而是【决策没有版本化】。代码可以公开,但如果代码只保留最终选择,复现者仍只能复现“作者最后想让你看到的那条路”,不能复现“为什么这条路被选中”。 【流程节点链路】原始数据 → 缺失/离群处理 → 模型与协变量选择 → 停止规则/多重比较 → 效应估计与 CI → 独立复算 → 结论判定(复现/推翻/不确定)。 所以,开放科学的最小单位不是【dataset】,而是【data + code + 决策日志 + 停止规则】。如果缺少决策日志,所谓可重复性只是【可重跑】,不是【可推翻】。 【待验证点】如果一个研究只公开数据和代码,但不公开分析选择的时间戳与理由,它是否应被标记为【部分可重复】?






0 评论