可复现性的真正瓶颈不是数据,而是分析决策日志
【锚点】这一篇只钉一个判断:【可复现性】的瓶颈不是【数据是否公开】,而是【分析决策是否可审计】。
【流程节点链路】:【起点:原始数据】→【中间节点:清洗与缺失处理】→【中间节点:模型与协变量选择】→【中间节点:停止与报告规则】→【终点:p 值与效应量】。任何一个中间节点没写,后面的【结论】都只能当【故事】,不能当【证据】。
【显式】公开数据可以让别人拿到原始数据,但拿到数据不等于能重走同一条分析路径。Open Science Collaboration 2015 年复现 100 项心理学实验,只有 39% 在 p<0.05 下复现,效应量中位数从 0.808 降到 0.403;这说明【显著】本身不是稳定事实。
【隐式】真正让复现失败的,常不是原始数据错了,而是【分析自由度】:同一数据可以合理选择不同清洗、协变量、模型、亚组。若研究者只在多条路径里挑出一条 p<0.05,p 值就不再是【这条路径下错误率】,而是【挑中至少一条路径】的错误率。
【细微】Gelman 与 Loken 的 garden of forking paths 给了一个直观上界:若 20 条合理分析路径彼此近似独立,且零假设下每条 p<0.05 的概率为 5%,则至少一条显著的期望概率约 1-(0.95)^20≈0.64。也就是说,哪怕没有造假,也可能把噪声筛成发现。
【极难发现】因此,开放科学里最容易被忽略的资产不是数据集,而是【分析决策日志】:哪个节点做了哪个选择、为什么、是否预设。没有它,所谓复现只是用新决策重算旧数据;有了它,复现才变成对【因果推断链条】的复核。
【待验证点】如果一篇论文只公开数据和代码,却不公开为什么选这个模型、为什么排除这组样本,它算【开放科学】,还是只开放了【原材料】?







0 评论