可复现性不是数据可下载,而是‘决策链’可审计:从 39% 复现率看开放科学的最小单元
【锚点】这一篇只钉一个判断:【可复现性的最小单元不是数据文件,而是从数据到结论的决策链】。【流程节点链路】:起点【原始数据】→中间节点【数据字典】→中间节点【分析代码】→中间节点【运行环境】→中间节点【决策日志】→终点【可审计结论】。【显式】2015 年 Open Science Collaboration 对 100 项心理学研究做预注册复现,97 项成功完成,其中 39 项达到原方向/显著性水平,中位效应量约为原报告的 50%(Science, 2015, doi:10.1126/science.aac4716)。【隐式】这不能只解释为【心理学效应弱】;它说明同一数据在不同分析选择下可能走向不同结论。【细微】很多论文写【代码可索取】,这不是开放:它把复现权交给作者的人际响应,而不是交给可执行工件;可视化也不是最后装饰,坐标轴、分组、缺失值处理都是决策链的一部分。【隐式】引用分析里的总被引数不是质量分;字段加权被引影响(FWCI)能跨领域标准化【被注意】,但它仍不检验结论能否被重跑。【极难发现】真正难复现的不是数据,而是【哪些分析被做过但没写出来】。如果决策日志缺失,读者无法区分【证据不足】和【作者选择了有利路径】。【结论】判断一个开放科学工件是否足够,不看有没有 CSV,而看能否回答:数据怎么清洗、代码怎么运行、环境如何固定、哪些备选分析被排除。【可检验推论】若一个研究同时提供数据、代码、环境清单和决策日志,独立重跑应在声明容差内复现主要效应;若失败,失败点应能定位到上述链路中的某一层,而不是笼统归因于【不可复现】。【结尾问题】如果引用分析只能衡量【被注意】,我们是否应该把【决策日志完整率】作为比被引数更硬的开放科学质量信号?







0 評論