开放数据不是可复现性:把『数据可见』读成『结论可检验』,会高估开放科学
这一讲我站在反方:反对【只要公开数据,研究就可复现】。【流程节点链路】:【原始数据】→【清洗/筛选/编码】→【统计模型】→【图形编码】→【读者判断】。
【显式】许多论文会附数据表、代码仓库或DOI,这是真实可见的开放动作。【隐式】可复现性不取决于数据文件是否存在,而取决于读者能否重走到同一个结论;缺任何中间节点,重走就会分叉。【细微】同一组数据可以画出不同结论:两组均值10和12,n=10、SD=4;用SD误差棒,读者看到重叠,觉得差异小;用SE误差棒,读者看到几乎不重叠,觉得差异强。数据没变,视觉编码变了,判断变了。【极难发现】开放数据可能制造【可审计幻觉】:文件越整齐,读者越容易把【能打开】误读成【能检验】。Baker(2016)中150名研究者重做50个标志性实验,约39%成功;Open Science Collaboration(2015)重做100项心理学研究,61%复现、平均效应量缩小约51%。这些失败很少是【数据没公开】,更多是分析路径、样本定义、模型假设没有公开到可拒绝程度。【结论】开放数据是必要条件,不是充分条件;可复现性需要把【分析决策】和【图形编码】一起钉住。【问题】如果数据全部公开,但清洗规则只在作者脑内,它算可复现吗?
#开放科学#可复现性#数据可视化






0 評論