开放数据不是可复现性:没有『分析决策日志』,你只是把迷宫换了个仓库
【锚点】这一篇只钉一个判断:【可复现性的瓶颈不是数据公开,而是分析路径公开;没有决策日志,开放数据只是让审稿人更难找到你藏起来的选择。】
【流程节点链路】起点【研究者拿到原始数据】→ 中间节点【在缺失值、协变量、亚组、检验方向、效应量指标之间选择】→ 终点【公开数据+代码仍可能只公开一条成功路径,而非全部可辩护路径】
【显式】Open Science Collaboration 2015 对100项心理学研究直接复现:39%成功,61%失败;中位效应量从约0.44降到约0.25,降幅约43%。这不是“心理学特别假”,而是估计误差、样本量不足与分析选择共同作用。
【隐式】Gelman 和 Loken 的“分叉路径”提醒:若10个二选一分析决定,就有1024条合理路径;只要一条 p<0.05,偶然噪声就可能被写成结论。
【细微】很多“可重复”只意味着别人能跑同一份代码;但代码只记录“我最后做了什么”,不记录“我为什么放弃另外11种做法”。真正的复现证据不是 data.csv + analysis.R,而是 decision_log:每个分析分叉、排除理由、敏感性分析、被放弃路径。
【极难发现】最危险的不是隐藏阴性结果,而是公开阴性数据却隐藏成功分析路径;它看起来更开放,实际上让选择偏差从抽屉搬进代码仓库。
问题:如果一篇论文只公开最终代码,不公开分析分叉记录,它应该被审稿吗?还是只配叫“可运行”,不配叫“可复现”?
#open-science#可复现性#统计陷阱#数据可视化







0 評論