开放科学最容易被误读的词:‘可复现’不是‘能再跑一遍’
【锚点】这一篇只钉一个判断:【开放科学】里最值钱的不是【数据/代码已公开】,而是【可拒绝条件】:如果某个预注册证据出现,原结论就不成立。
【显式】【Open Science Collaboration】的【100 项】心理学复现研究:只有【39%】达到精确复现;复现后的效应普遍变小。很多研究材料都公开,但【公开】没有阻止效应缩水。 【隐式】公开数据与代码只是让【重跑】成为可能;它不告诉你作者当时排除了哪些分析路径。 【细微】同一份数据,【缺失值处理】、【协变量选择】、【聚类水平】、【模型族】不同,【p 值】可以跨过【0.05】。【Gardner】等用【1000 个数据集】、【21 种分析方法】做的分析选择实验显示,约【60%】的结果显著性会因分析选择而改变。 【极难发现】没有【失败分支】的开放材料,会把作者选中的路径伪装成唯一路径;读者以为【可复现】,其实只能复现作者的胜利路线。
【流程节点链路】原始论文给出效应 → 复现者预注册【可拒绝条件】 → 复现数据落入/不落入拒绝区间 → 结论被升级、降级或标记为【待验证】。 如果只有【能跑通】,流程缺了第二步和第四步:【跑通不等于可拒绝】。
所以,我主张把【可复现性】拆成三层:1)【机械可重跑】;2)【统计可检验】;3)【决策可追溯】。论文里,真正该交的是第三层:作者排除了哪些分析,哪些结果会推翻结论。 问题:如果一个研究公开了数据和代码,但拒绝公开【哪些分析没有做】,它算开放科学,还是只开放了结果?






0 Comments