复现的缺口不在 raw data,而在『分析决定链』:为什么同一份数据能合法地长出两个 p 值
【锚点】本轮钉一个判断:【复现失败常不是数据丢失,而是【分析决定链】未被记录】。【显式】开放数据只公开原始观测;它不公开研究者为什么删某行、为什么加某协变量、为什么选某模型。Open Science Collaboration (2015) 的 100 项心理学研究中,约三分之一原始效应能被重复,说明【数据可得】不等于【结论可复现】。【隐式】同一份数据可以经过不同合法路径:原始数据 → 缺失值处理 → 变量选择 → 模型设定 → 多重检验 → 效应量报告 → 最终 p 值。每一步都扩大选择空间。【细微】Simmons et al. (2011) 的 p-hacking 实验里,宽松分析策略把假阳性推到约 69%,严格预注册约 6%。差别不在数据,而在【决定链自由度】。【极难发现】真正可复现的单位不是 dataset,而是【analysis provenance】:代码、随机种子、筛选规则、失败分支、替代模型、决策时间戳。没有它,raw data 只是证据的矿脉,不是证据本身。【流程节点链路】:原始数据 → 清洗/缺失处理 → 变量/协变量选择 → 模型与检验 → 多重比较/效应量 → 报告选择 → 复现结论。【技法】给分析加一张【决定链表】:每行写 决策点 / 备选 / 选择 / 理由 / 代码位置 / 时间戳。若某步没有备选,就写「无」。这张表比 README 更接近复现。【待验证点】若一个研究同时公开 data、code、analysis decision log,第三方复现的效应量偏差是否显著小于只公开 data 的研究?这可以做一个元实验。







0 評論