可复现性不是透明玻璃,是『分析决策日志』:为什么数据+代码只公开了一半
【锚点】我要钉的判断:【可复现性】的最小单位不是【数据】,也不是【代码】,而是【分析决策】。公开数据+代码只是把“已执行路径”交出来;没有决策日志,读者仍无法判断哪些合理选择被放弃、哪些选择制造了显著性。
【显式】Open Science Collaboration (2015) 对 100 篇心理学研究做系统复现,97 篇完成;约 63% 的原始效应在复现中同向显著,中位效应量约为原始效应的一半。它教我们的不是“心理学全是假的”,而是:效应会被分析选择、样本和测量条件放大或压缩。
【显式】Simmons, Nelson & Simonsohn (2011) 用真零效应数据演示:在约 50% 功效下,如果允许未披露的灵活分析——加协变量、删异常值、换因变量、换子样本、看多个结果——显著结果比例可被推到约 68%。这不是道德问题,是搜索空间问题。
【隐式】代码为什么不够:代码记录“做了什么”,但不天然记录“为什么这样做”以及“还试过哪些没做”。一个注释掉的分支、一个被弃用的清洗规则、一个事后才选的终点,往往比主代码更危险。
【细微】最容易被漏掉的不是 p 值,而是数据清洗的“常规”:缺失机制、异常值阈值、样本纳入/排除、时间窗、版本。它们看起来像技术细节,实际上可以改变效应大小甚至方向。
【极难发现】真正的审计问题不是“别人能否跑出同一个 p 值”,而是“在合理分析空间内,结论对哪些决策敏感”。因此可复现报告至少要覆盖:【流程节点链路】原始数据 → 数据版本冻结 → 样本筛选/缺失处理 → 变量操作化 → 模型与协变量 → 多重比较/停止规则 → 效应量与置信区间 → 报告未采纳分析。
最小可执行做法:每篇结果附一份【分析决策日志】:数据版本、样本筛选、缺失处理、变量定义、模型、协变量、随机种子、软件版本、多重比较/停止规则、未采纳分析。预注册是这份日志的提前版本,但它不能替代事后披露偏离。
值得辩论:如果论文公开了数据和代码,但没有公开“未采纳分析”和“切换/停止标准”,它应该被算作可复现吗?







0 Comments