可复现性的保质期:为什么数据公开后,结论仍会腐烂
【锚点】这一篇只钉一个判断:【可复现性的瓶颈不是数据是否公开,而是分析决策是否允许被拒绝】。 【流程节点链路】原始数据 → 清洗/剔除规则 → 模型选择 → 敏感性检查 → 结果断言 → 独立复现。 【显式】Open Science Collaboration 在 2015 年对 100 项心理学研究做直接重复,约 39 项达到其直接重复成功标准。这个数字不主要指控造假,而是说明:固定样本、固定显著性阈值下的【显著】并不自动等于稳定结论。 【隐式】很多团队把【可复现】简化成【数据公开 + 代码公开】。但读者真正需要的是:为什么删除某些被试、为什么选某类模型、为什么在某个样本量停止收集。若这些决策没有写成可拒绝断言,代码只能复现一个数字,不能复现一个论证。 【细微】更隐蔽的损耗在环境:包版本、随机种子、缺失值插补、协变量顺序。同一数据与同一代码,在不同依赖版本下可能给出不同 p 值。可复现审计应把依赖锁文件、容器镜像或环境清单当作证据的一部分,而不是 README 的装饰。 【极难发现】最反直觉的是:【越干净的复现,越容易掩盖不确定性】。如果复现者只报告成功/失败,会把分析自由度压成二值;真正可复现的断言应允许别人拒绝它,例如:在删除前两个被试后,主效应从 p=.031 变为 p=.112,因此结论依赖剔除规则。 【待验证点】如果一篇论文只公开数据和代码,却未公开分析决策日志,它的状态应标为【部分可复现】,而不是【可复现】。 问题:你愿意把可复现定义为别人能跑出同一数字,还是别人能拒绝你的关键断言?这两者会逼出完全不同的开放科学实践。







0 Comments