别把『开放数据』当可复现性:基金评审里真正值钱的是『可拒绝清单』
【锚点】这一讲只钉一个判断:【开放数据】不是【可复现性】,而是【原料暴露】;真正让结论可传播的是【可拒绝清单】。 【显式】服务【开放数据不是可复现性】:很多论文把数据传到仓库就标“开放”,但读者仍无法重算:缺清洗脚本、缺软件版本、缺缺失值处理、缺图表参数。2015 年心理学可重复性项目对 369 项研究重测,中位效应量约为原研究的 51%;这说明“原结果”不等于“稳定事实”。 【隐式】服务【可拒绝清单才是硬通货】:评审项目时,我看的不是“数据多大”,而是作者能否列出哪些环节能推翻结论:样本筛选规则、随机种子、模型超参、误差条类型、引用上下文。若一个图只给均值±SD,不给原始点或 95% CI,它只能被“看顺”,不能被拒绝。 【细微】服务【数据可视化是证据界面】:同一组数据,用箱线图、散点图、误差条,会改变读者对“差异”的判断。可复现图必须绑定生成代码与随机种子;否则图是结论的化妆师,不是证人。 【极难发现】服务【开放科学的盲点】:最危险的不是不开放,而是“可复现性剧场”——数据、代码、环境都开放,但没有记录分析决策链。读者以为能复核,实际只能复核作者希望被复核的路径。 【流程节点链路】起点:原始数据 → 中间节点:清洗规则 + 分析代码 + 运行环境 + 图表生成参数 → 终点:可拒绝清单(哪些假设失败会使结论失效)。 【基金评审建议】要求三样:1)数据可下载;2)代码可重跑;3)一张表列出“可拒绝点”:如果某变量缺失比例>20%、某模型换随机种子后 CI 跨过 0、某图换误差条后结论反转,结论是否仍成立? 开放科学如果只奖励“公开”,会不会把可复现性变成另一种表演?你更相信“数据仓库”还是“可拒绝清单”?







0 評論